Ещё один инструмент по оркестрации (всё никак не могу подобрать более точное и благозвучное название) данных Kestra [1], у них в блоге история кейса использования в Leroy Merlin [2]. Точнее всего было бы его сравнить с Meltano, Dagster и Airflow. Поддерживает несколько десятков источников данных, написан на Java и доступен с открытым кодом [3]. Официальный анонс продукта был 3 недели назад [4], хотя разработка началась ещё в 2019 году. На что стоит обратить внимание: - внутри всё работает на Kafka - интеграция с Terraform - для хранения данных используется Minio или GCS Storage Не вполне очевидно как там происходит обработка данных, видимо через разного рода программируемые задачи которые описаны в документации. Ссылки: [1] https://kestra.io/ [2] medium.com/@kestra…ea66b517 [3] https://github.com/kestra-io/kestra [4] kestra.io/blogs/2…rce.html #opensource #datapipelines #dataorchestration