💭 #Ответы на вопросы! ❓Вопрос 2505 Что в настоящее время оказывает влияние на краулинговый бюджет поисковых роботов? И как можно увеличить краулинговый бюджет для сайта? ❗️Ответ 💡В настоящее время на краулинговый бюджет оказывают негативное влияние прежде всего следующие страницы: ▫️страницы с 404 ошибкой или пустые страницы (soft 404) ▫️страницы с идентификаторами сессий ▫️дубли страниц с get-параметрами и UTM -метками ▫️взломанные веб страницы ▫️страницы-дубли ▫️заспамленные страницы или с низкокачественным контентом (плагиат) ▫️бесконечные страницы Помимо страниц низкого качества на краулинговый бюджет влияют также такие факторы: ▫️Время ответа сервера. Чем быстрее и надежнее Ваш сервер, тем чаще бот будет посещать сайт, так как ответ боту дается быстрее. ▫️Количество страниц на сайте. Чем больше страниц у сайта, тем больше ресурсов, а впоследствии и краулингового бюджета нужно будет потратить на его сканирование. Бот старается обойти все страницы, поэтому если на сайте присутствуют дубли страниц, страницы с малым количеством информации, если неправильно настроена работа пагинации и тд., то бот будет тратить свой бюджет на сканирование таких страниц, уделяя при этом меньше внимания страницам, которые действительно важны для продвижения. ▫️Авторитетность страниц. Чем чаще и больше пользователи находят страницу и дольше проводит там время, тем чаще бот будет сканировать такую страницу и переобходить. ▫️Актуальность страницы. Бот старается периодически переобходить страницы, которые он уже просканировал, чтобы обеспечить актуальность контента такой страницы. Хотя краулинговый бюджет и не влияет напрямую на трафик и позиции, его все-таки нужно оптимизировать и увеличивать. 👉 Увеличить краулинговый бюджет можно несколькими способами: ▫️Настройка sitemap и robots.txt. Эти два файла являются важными для поискового бота, так как сообщают о созданных страницах, а также какие страницы являются не такими важными для сканирования. Мусорные страницы необходимо блокировать в robots.txt и не добавлять их в карту сайта. В sitemap должны быть только те страницы, которые могут полезны для пользователя (не указывайте там страницы с редиректами, с 404 ошибкой). Чтобы избежать повторного сканирования страниц, которые никак не изменились с момента последнего обхода, указывайте в карте сайта last-modified или настройте HTTP-заголовок If-Modified-Since. ▫️Скорость загрузки сайта. Увеличивая скорость сайта, можно и увеличить и краулинговый бюджет, так как бот за то же время может просканировать намного больше страниц. Надо не забывать, что скорость загрузки надо увеличивать как для десктопов, так и для мобильных, так как боты бывают разные. ▫️Удалите цепочки редиректов, если такие есть. Как правило, если боту необходимо пройти несколько переадресаций, чтобы добраться до конечного URL, то он может просто до него не дойти. Таким образом краулинговый бюджет может тратиться впустую. ▫️Уменьшите количество страниц, которые отдают 4xx и 5xx ответы сервера. Такие коды ответа сервера тратят бюджет, проанализируйте страницы, возможно с них можно поставить 301 редирект или же сообщить боту, что страница удалена навсегда с помощью 410 ответа сервера. ▫️Сделайте или улучшите внутреннюю перелинковку на сайте. Как показывает практика, чем меньше ссылок ведет на страницу с сайта, тем реже она будет сканироваться ботом. ‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях! 🚨 via @siteclinic_doctor 🚨