еще подробности от Гэри Илша: "Поскольку мы оптимизируем то, как и что сканирует робот Googlebot, мы хотели убедиться, что задания сканирования робота Googlebot используются только для построения индекса, используемого Поиском. Для этого мы добавили новый поисковый робот GoogleOther, который заменит некоторые задачи робота Googlebot, такие как сканирование для исследований и разработок, чтобы высвободить часть ресурсов сканирования для робота Googlebot. Новый краулер использует ту же инфраструктуру, что и Googlebot, поэтому у него те же ограничения и функции, что и у Googlebot: ограничения нагрузки на хост, robots.txt (хотя и другой токен пользовательского агента), версия протокола http, лимит на объем извлекаемого контента и так далее. По сути, это Googlebot под другим именем."