Как посчитать краулинговый бюджет и понять, есть ли препятствия к попаданию в выдачу
Краулингового бюджета не хватает в нескольких случаях:
1. Если на сайте есть технические ошибки – их обязательно следует исправить, чтобы увеличить бюджет сканирования;
2. Если робот тратит объем сканирования на ненужные разделы, а важные пропускает. Важная страница останется без сканирования и не попадет даже на сотую позицию выдачи;
3. Если на сайте [имеется] заброшенный и нерелевантный контент. Из-за того, что сайт не обновляет информацию, боты будут реже его посещать, и краулинговый бюджет [может] снизится.
Как определить уровень краулингового бюджета?
Шаг 1. Определите количество страниц, которое должно быть в индексе
Это можно сделать с помощью краулинга. Здесь поможет жаба или паук от нетпика.
Шаг 2. Определите количество обращений робота к сайту
1-й способ – определить количество просканированных ботами страниц можно с помощью Google Search Console и Яндекс.Вебмастер. В Google Search Console вы сможете узнать информацию за период 90 дней, в то время как в Яндексе можно выбрать любой период.
2-й способ – при помощи анализа логов сервера для точного расчета бюджета.
📌 Анализ логов позволяет не только рассчитать точный краулинговый бюджет, но и посмотреть более глубокие данные: по одному пути ходят боты или по разным, когда на какую страницу зашел бот, как глубоко прошел, сколько раз обращался к одной и той же странице.
📊 Для анализа логов рекомендуются программы Screaming Frog Log Analyzer, LogViewer, Loggly. В программе Screaming Frog Log Analyzer удобно отображаются графики с количеством обращений самых разных роботов.
Шаг 3. Подставьте данные в формулу и определите бюджет
Формулы на скринах.
Подробнее с примерами читайте в статье. Это замечательное руководство от SEO-аналитика KINETICA, Екатерины Леневой.
✅ @seospecialist
