Screaming Frog обновился до версии 16.6 и теперь поддерживает API URL Inspection Google Зачем это нужно? Чтобы проверить какие страницы сайта находятся в индексе, а какие нет. Ранее такого не было и это крутая и нужная вещь! Добавилось 7 новых фильтров URL Is Not on Google – URL нет в Google; Indexable URL Not Indexed – индексируемый URL не проиндексирован; URL is on Google, But Has Issues – URL в Google, но имеет проблемы (с мобильным юзабилити, AMP или расширенными результатами); User-Declared Canonical Not Selected – Google выбирает как канонический не тот URL, который указан пользователем; Page Is Not Mobile Friendly – страница не оптимизирована для мобильных устройств; AMP URL Is Invalid – AMP URL недействителен (в AMP есть ошибка, которая препятствует индексации); Rich Result Invalid – расширенный результат недействителен. В разметке есть ошибки, которые препятствуют показу расширенных результатов в SERP. Подключается API очень просто, в настройках Screaming Frog. Есть только один минус - у API есть лимит в 2000 URL на 1 сайт (ресурс), так что для больших сайтов это не подойдет.