Новый бот GoogleOther: универсальный поисковый бот в помощь Googlebot Описание из документации: Универсальный сканер, который может использоваться различными группами разработчиков для извлечения общедоступного контента с сайтов. Например, его можно использовать для одноразового обхода для внутренних исследований и разработок. GoogleOther всегда соблюдает правила robots.txt и использует те же диапазоны IP-адресов, что и Googlebot. Токен пользовательского агента: GoogleOther Полная строка пользовательского агента: GoogleOther Гэри Илш пояснил: "Googlebot используется для построения индекса, GoogleOther — для других задач, ранее принадлежавших Googlebot".