Для тех, кто первый раз запускает Screaming Frog SEO Spider Чтоб вам не шариться по настройкам, и не юзать дефолтные вот вам мой личный умолчальный конфиг. Качайте по ссылке: https://disk.yandex.ru/d/eC-IP3dMrtYnbw Как его импортировать Просто проходите в меню File -> Configuration -> Load Еще пара нюансов: у меня по умолчанию отключено сканирование поддоменов. На что это влияет? Если вы начинаете сканить сайт с поддомена www, то другие поддомены, если встретятся не обойдутся (см. пост выше - https://t.me/seolife/8254) Включается очень просто. идете в меню Configuration -> Spider и на вкладке Crawl ставите галку Crawl All Subdomains ну либо начинайте всегда сканить с урла без www Еще очень рекомендую сразу устанавливать софт на SSD и парсить проекты в БД - это экономит опертивную память и позволяет потом сравнивать два обхода и находить разницу. Меню Configuration -> System -> Storage Mode и там выбираете Storage Mode и папку где БД будет лежать (напоминаю - лучше SSD) По другим спайдерам, возможно выложу попозже информацию. Продолжаю так сказать созидать, а на разрушать. Лайки, шеры, репосты приветствуются! #seolifehack