Чтобы сделать базу компаний, которые дают рекламу в Яндекс.Директ стали парсить ДЗЕН и собирать там рекламные блоки РСЯ (мы НЕ кликаем на них, только собираем информацию о рекламодателе). Если кому-то интересно, то вот скорость: "парсер дзена умер вскоре после того как я вчера ушёл - надо доработать но за 20 минут он нашёл и пропарсил 65 разных реклам это получается 195/час и 4680/сутки" Это мне Никита, наш разработчик пишет. Умер - подчинит, а скорость останется. Я слышал, что в Яндекс.Директ порядка 500к рекламодателей. То есть нам теоретически нужно 3 месяца :) чтобы собрать всю базу... Но это не точно :)