​​Наверное, многие из вас уже позабыли, что в конце июля я анонсировал новый сервис для краулинга/сканирования сайта – Qrawl.io. «…сейчас мы быстро все пофиксим и вернемся с новым раундом тестирования!» - обещал я, но оказалось все сложнее. Так что я приношу свои извинения за столь длительную задержку. На прошлом этапе было более 100 тестеров: спасибо вам за обратную связь, мы все (многое) учли и провели не только работу над ошибками, но существенно улучшили техническую часть парсера. Краул предлагает базовый функционал (но теперь ваш ноут точно вытянет, всё в облаке, работает очень быстро, да еще и бесплатно): - Базовые вещи (robots.txt, meta robots, canonical, редиректы, ответы сервера и т.д.), - Анализ метатегов и заголовков (title, description, h1-h6), - Анализ не HTML содержимого (скрипты, стили, файлы, документы и т.д. с группировкой по URL) - Анализ изображений (с группировкой по URL), - Анализ структуры (и вложенности), - Анализ ссылок (внешних и внутренних), - Сохраняет все ссылочные связи, - Может обрабатывать 1000+ URL в секунду, если позволит сервер, где хостится сайт, - Определение антиботов и защиты от парсинга (предупредим если для успешного сканирования сайта необходимо будет отключить защиту или добавить ip сервиса в вайтлист). На этот раз: - Никаких инвайтов (регистрация свободная для всех), - Фидбек в свободной форме и по желанию (пишите мне @victimalex), - Ограничение на 30 000 url на аккаунт (можно просканировать 30к страниц в рамках одного сайта, либо 30 сайтов по 1к страниц – как вам нравится). 🔗 https://app.qrawl.io/ Короче, го тестить, друзья! 😎 PS Как только базовый функционал покажет свою стабильность, мы сразу отправимся пилить действительно крутые штуки, так что если у вас есть какие-то идеи, пусть даже совершенно безумные, пишите!