🦖 Яндекс выложил в опенсорс исходный код YTsaurus — платформы для работы с большими данными «Вайтизавр» развивали почти 10 лет — историю можно почитать на Хабре. Сегодня платформу использует большинство сервисов Яндекса. YTsaurus может многое: от аналитики до обучения сложных моделей с миллиардами параметров. В Яндексе рассказывают, что один из самых популярных сценариев — построение DWH. Например, заказы Еды, Такси и Лавки поступают в key-value хранилище YTsaurus в сыром виде — это сотни терабайт в месяц. Дальше они обрабатываются разными инструментами внутри платформы, и на выходе получаются аналитические витрины, поверх которых производится аналитика и строятся различные визуализации в DataLens. Помимо MapReduce, пользователям предлагается прокаченный SQL-язык, который может запускать огромные операции для обработки петабайтов данных, богатый набор встроенных функций и гибкие возможности параметризации. 🖥 Github: https://github.com/YTsaurus/YTsaurus вакансии в YTsaurus ai_machinelearning_big_data