Third-Generation Data Platforms: The Lakehouse Небольшой материал о модной концепции организации аналитического хранилища Lakehouse. Концепция давно известна и многие вендоры предлагают практически out of the box платформы (типа Databricks, Snowflake) но кажется, что не особо пока широко подход используется в индустрии. Идея проста - с помощью слоя с хорошо описанными meta данными объединить неструктурированный data lake и структурированный DWH. Слой метаданных является тут определяющим элементом. Он привносит в озеро данных структуру и возможности управления, аналогичные возможностям традиционных хранилищ: поддержку транзакций (ACID), применение и развитие схемы, управление данными, контроль доступа и аудит. Lakehouse также обеспечивает аналитику в реальном времени, бизнес-аналитику (BI), науку о данных (DS) и машинное обучение (ML), предоставляя API-интерфейсы для обработки данных и позволяя использовать широкий спектр языков и библиотек. dzone.com/article…akehouse