Кстати вот о чем еще очень мало пишут материалов - системы Change Data Capture
Эти системы позволяют наполнять централизованные хранилища/озера извлекая данные из источников по мере их изменения там.
Вот тут хороший базовый обзор этой концепции и систем:
bytes.swiggy.com/introdu…99c7a3fd
И еще: bytes.swiggy.com/archite…a081691f