Проводя SEO-аудит сайт, обязательно проводите анализ логов сервера, чтобы найти страницы, по которым ходит поисковый бот (с этих страниц можете ставить контекстные внутренние ссылки для того, чтобы бот находил новые страницы, которые нужно просканить и проиндексировать), какие файлы пытается скачать, какие коды ошибок выдает.
Анализ покажет вам, какие страницы нужно закрыть от сканирования, чтобы бот не расстрачивал краулинговый бюджет, хотя последний актуален больше для больших сайтов. Важно, чтобы это не были мусорные страницы по типу служебных или с конфиденциальной инфой, которые могут попасть в выдачу. С помощью обычных парсеров вы не всегда это можете увидеть.