GetComBot - ответы на частые вопросы и принцип работы

Решил собрать в 1 пост все ответы на часто задаваемые вопросы по поводу бота для выгрузки комментариев Instagram и определения победителя @getcombot. Потом напишу об этом пост в блоге.

Часть 1
Средняя скорость скачивания
1500 комментариев в минуту. Почему именно эта цифра? Потому что максимальная - 2500. Минимальная - 500. Средняя - как раз 1500. То есть, если кто-то из сервисов пишет, что результат парсинга происходит «за считанные секунды» - это невозможно. Например, 60 тысяч комментариев будут скачиваться 30-40 минут, а никаких не 3-4 минуты.

Это при том условии, если сервер Instagram, на чью долю пришлось хранение комментариев определенного поста, хорошо доступен. И если нет других ограничений - проблем с прокси, фильтров на скачивание и т.д.

Техническая информация: в базе данных хранится много записей. Для их считывания придуманы ключевые поля. Например, ID комментария. Если знать определенный ID, то можно скачать кусок «наверх» и кусок «вниз». Если его не знать (а узнать можно, перебрав все), то данные отдаются порционно. Скажем, по 20-40 комментариев за секундный запрос. Потом идет перелистывание далее. Листать сразу «через 5 страниц» невозможно! Только прямой перебор с получением кода следующей пачки.

Такому же принципу при выдаче информации придерживается весь Instagram. Даже если в сервисе сбора вы введете свой логин и пароль - ничего не поменяет. Кто обещает быстроту - тот работает с маленьким количеством данных, но врет, что со всеми. И только в @getcombot можно и глазами увидеть и выгрузить в Excel все записи абсолютно бесплатно.

Почему скачано всего 15-20-30% комментариев?

Независимо от того, сколько комментариев под постом оставлено, Instagram может наложить фильтр на чтение данных. Обычно это случается, когда большая часть пользователей оставляет одинаковую информацию, либо отмечает другого пользователя, либо пишет подряд и часто В ОДИН ПРОМЕЖУТОК ВРЕМЕНИ. Скажем, за 10-15 минут. Тогда все комментарии с этого места выдаваться НЕ будут. И если это случилось после 738 комментариев из 23,000. То в 90% случаев вы увидите 738 комментариев.

Как быть и что может помочь?
Помогает закрытие комментариев в посте на день-два, для полный остановки активности посетителей. Либо повторный сбор через 48 или более часов. Сбособ частого добавления в @getcombot ссылки на протяжении розыгрыша, который я предлагал ранее, оказался недостаточно эффективным. Если попасть на слой комментариев под фильтром, то смысла в этом не будет. Однажды с поста, котором было 23414 комментариев, удавалось скачать только 3917. И даже полистав комментарии в официальном приложении и посмотрев самый первый - он совпадал с первым из этих 3917. Но спустя 6 дней скачалось ... все 23414 комментариев. Фантастика, но это так.

Счетчик показывает 70 комментариев, а вы выгрузили 68
Ну во-первых не я, а система чтения комментариев. Но это лирика (или шутка). А во-вторых, счетчик комментариев редко(никогда) не обновляется. Как-то прикладывал даже видео. После удаления пользователями своих комментариев, либо после скрытия Instagram части комментариев, похожих, по их мнению, на спам, либо сделанных с «грязных» IP адресов. Что это значит? А то, что сейчас каждый второй спамер использует мобильные прокси для рекламных рассылок и прочего. Диапазон адресов, конечно большой, и меняется у пользователя каждые 2 минуты, но звезды могут совпасть так, что ваш хороший друг и подписчик в пик активности тоже окажется на этом адресе, и полетит под фильтр со всем остальным. Чаще всего, такие комментарии безвозвратны.

И еще один житейсткий совет - если в вашем конкурсе много комментариев, а GetComBot скачал ну совсем мало, то сравните выгрузку «на глаз» сами в официальном приложении Instagram. Если и там надпись «Загрузить еще» встретилась всего пару-тройку раз и пропала, а комментариев под 15,000... то увы, пост под фильтром. Надо подождать.