В блоге Spotify краткий пост о том как в компании команды переходят на систему управления потоками данных на базе Flyte [1], заменяя на него использовавшиеся ранее системы Luigi [2] и Flo [3]. В отличие от них Flyte [4] создавался с акцентом на задачи ML/Data science и с некоторыми особенностями которые отличают его от других движков. 1. Flyte построен на принципах что конфигурация это код. Вместо файлов YAML задачи описываются в коде на Python 2. Изначально разработан под расширение через код на Python 3. Автоматически отслеживает происхождение данных (data lineage) И ещё много всего, продукт весьма интересный и, что немаловажно, простой в использовании. А для тех кто ещё не определился на каком движке строить управление потоками данных, неплохая подборка в Awesome workflow engines [5] Ссылки: [1] engineering.atspotify.com/2022/03…-service [2] https://github.com/spotify/luigi [3] https://github.com/spotify/flo [4] https://flyte.org/ [5] meirwah.github.io/awesome…-engines #data #datatools #opensource #datapipelines