Платформа Яндекса для работы с большими данными вышла в опенсорс
YTsaurus (по-русски — «вай-ти-завр», отсюда и маскот-динозаврик) — это многофункциональная платформа для работы с бигдатой: обработки, хранения, обучения — вообще всего, что можно делать с большими данными. Но самое интересное — управление большим количеством вычислительных мощностей.
YTsaurus поможет эффективно распределять ресурсы так, чтобы ничего не поломалось и не тормозило, модели — обучались, данные — обрабатывались. С помощью этой платформы Яндекс строит свой поисковый индекс — и это, конечно, какие-то невообразимые объемы информации. Теперь YTsaurus доступен всем желающим.
Больше подробностей про историю, возможности и архитектуру платформы в статье на Хабр: https://habr.com/ru/company/yandex/blog/721526/
Попробовать демо: https://clck.ru/33pJJE
GitHub: https://github.com/YTsaurus/YTsaurus
Вакансии YTsaurus: https://clck.ru/33pJys
Реклама ООО «ЯНДЕКС» LjN8KbHpM