Одновременный веб-скраппинг с помощью Selenium Grid и Docker Swarm
В этом руководстве мы рассмотрим, как запустить веб-скрепер на основе Python и Selenium параллельно с Selenium Grid и Docker. Мы также рассмотрим, как быстро масштабировать Selenium Grid на DigitalOcean с помощью Docker Swarm для повышения эффективности работы скрепера. Наконец, мы создадим bash-скрипт, который автоматизирует загрузку и выгрузку ресурсов на DigitalOcean.
Зависимости:
Docker v20.10.13
Python v3.10.4
Selenium v4.1.3
testdriven.io/blog/co…er-swarm@BookPython