В блоге Pinterest история про то как они выбирали и в итоге настроили оркестратор задач на базе Airflow [1]. Пост интересный, про сложную архитектуру, реально большие данные, сложные процессы и тд. А также там же много интересных цифр про Pinterest: - 500 петабайт данных всего - 600 терабайт данных ежесуточно - 4000 workflows - 10 000 data flows - 38 000 ежесуточных задач в среднем Достоинство больших проектов и крупных команд как раз в таких масштабах и решениях возникающих от сложностей подобного объема данных. А в случае Pinterest'а ещё и интересна их архитектура связки потоков данных, развертывания кода и кластеров Kubernetes. Ссылки: [1] medium.com/pintere…be190ba5 #opensource #bigdata #datarchitecture #datapipelines