Полезное чтение про данные: - дорожная карта развития dbt до 2023 года [1]. Главное, конечно, поддержка моделей на Python. Очень надеюсь что работать с NoSQL данными с помощью dbt станет куда проще. - труба данных от Stripe [2], можно данные о платежах теперь получать напрямую в свой data warehouse. Довольно интересный подход и стратегия. Не подключать внешние ELT/ETL а самим складывать в базу клиента. Если такое будет развиваться, то весь ландшафт продуктов на данных поменяется. - batch or stream [3] о том как работать с данными, выгрузками или потоками. Интересные размышления - State of Workflow Orchestration 2022 [4] доклад о управлении потоками задач и данных. Много любопытного, я из него узнал про Temporal [5], движке для задач с JS внутри. Из минусов - читая доклад можно подумать что движков всего 5-6, а это совсем не так Ссылки: [1] github.com/dbt-lab…story.md [2] https://stripe.com/en-gb-fr/data-pipeline [3] medium.com/@bdjidi…b2cd9031 [4] https://www.prefect.io/lp/gradientflow/ [5] https://temporal.io #datatools #datengineering #opensource #reading