💭 #Ответы на вопросы! ❓Вопрос 2412 Анализируем логи nginx по ответам, которые получают поисковые боты Google и Яндекса. Боты Google видят страницы с 404 ответом. Проверили сайт всеми возможными парсерами. Парсеры не видят ссылки на 404 станицы. В коде также нет ссылок на страницы с 404 ответами, которые видят боты Google. Как найти ссылки на страницы с 404 ошибками, которые видит Google? ❗️Ответ 💡Битые ссылки могут быть как следствием неправильной настройки CMS, так и результатом человеческих ошибок: ▫️Товар снят с продажи или закончился на складе. ▫️Адрес страницы изменился и не был настроен 301 редирект. ▫️Пользователь ошибочно скопировал ссылку на страницу. ▫️Удален медиа-файл (изображение, видео) не проверив, есть на него ссылки или нет. 👉 Почему в log-файлах находятся битые страницы: ▫️На момент сканирования сайта страницы отдавали 404-тую ошибку, поэтому попади в log как битые. ▫️Проблемные страницы отвечают 404-той ошибкой только для роботов Google и Яндекс. 👉 Как найти битые страницы, которые видит Google: ▫️Используя User-agent Google (из log-записей), просканируйте сайт парсером. ▫️Кроме, User-agent стоит максимально снять ограничения из парсинга ⚠️ В целом 404-страницы периодически проверяются поисковыми системами на работоспособность, но со временем 404-тые удаляются из базы поисковых систем. ‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях! 🚨 via @siteclinic_doctor 🚨