Taking Charge of Tables: Introducing OpenHouse for Big Data Management LinkedIn рассказал о своей аналитическом хранилище OpenHouse, построенном в рамках концепции LakeHouse. OpenHouse развернут с конца 2022 года и обслуживает часть производственного трафика из систем LinkedIn GoToMarket, которые поддерживают продажи и маркетинг LinkedIn. Пока только инженеры по данным и специалисты по данным, которые используют dBT для создания потоков ETL, стали одними из первых, кто использовал эту новую систему, но в будущем LinkedIn собирается расширять область применения решения. Ядром управления OpenHouse является служба таблиц RESTful, которая обеспечивает безопасное и масштабируемое предоставление таблиц и декларативное управление метаданными. Кроме того, его можно настроить для автоматической организации служб данных, которые сохраняют таблицы в настроенном пользователем (например, хранение, репликация), оптимальном (например, уплотнение хранилища, сортировка, кластеризация) и соответствующем состоянии (например, очистка GDPR). Собственно преобразование неструктурированных данных в структурированные талицы является основным проблемным моментом концепции LakeHouse. Тут нужно прорабатывать логику, разрабатывать ETL pipelines, регулярно обновлять, сверять и контролировать качество. Поэтому именно автоматизация создания таблиц под запросы конечного пользователя и является основным элементом инноваций и дифференциатором различным решений. Интересно, что LonkedIn использует формат Apache Iceberg для хранения данных в data lake (надо изучить подетальная). engineering.linkedin.com/blog/20…ata-mana