В рубрике полезных инструментов и полезного чтения о данных: - The Contract-Powered Data Platform [1] о платформе управления данными с дата-контрактом на каждый тип данных и о её ценности для всех пользователей. Можно весь текст свести к выводу что схемы данных - это хорошо, используйте их повсеместно. - Compressed Log Processor [2] бесплатное ПО по автоматизации сбора сжатых логов и работы с ними без разжатия. Обещают большую экономию диска и памяти. Делают в стартапе YSCope который также предлагает это же как облачную услугу. - Data Lineage: State-of-the-art and Implementation Challenges [3] обзор инструментов по прослеживаемости данных, Data Lineage. Главная польза в том что автор уже посмотрел на некоторые из них и, в целом, мои выводы подтверждаются что не все инструменты достаточно зрелые. Плюс в обзоре только инструменты с открытым кодом. - RecSysOps: Best Practices for Operating a Large-Scale Recommender System [4] наступило время когда все придумывают новые термины. Вот у Netflix'а новая выдумка "RecSysOps" - управление рекомендательными системам. В их блоге сводка некоторых правил того как идёт работа над их внутренней рекомендательной системой. Технических подробностей мало, организационные выглядят любопытными. - Crossmodal-3600 — Multilingual Reference Captions for Geographically Diverse Images [5] свежий большой набор данных от Google для генерации текстов к изображениям не на английском языке. Большая часть датасетов по этой теме именно на английском, а тут 36 языков. - State of Data Science and Machine Learning 2022 [6] от Kaggle. Короткие выводы: наибольший рост специалистов по DS в Индии и в Японии, основные языки программирования: Python, SQL, R; основные среды разработки: Jupyter Notebook, RStudio, PyCharm, VSCode; популярность RStudio падает, VSCode растёт. И, популярность всех облачных платформ растёт. - Microsoft Ignite Book of News [7] очень много новостей о развитии продуктов Microsoft Azule собранных в одной новости. Много про облачные версии их Cosmos DB, развитие MongoDB и множество других СУБД и связанных с базами данных и машинным обучением сервисов. - The case for a query modification language [8] автор пишет про ещё один язык работы с запросами, QML - Query Modification Language, с акцентом на функции преобразования. Что-то много стало языков запросов и попыток их изменить. Ссылки: [1] buz.dev/blog/th…platform [2] https://github.com/y-scope/clp [3] medium.com/bliblid…dccde9de [4] netflixtechblog.medium.com/recsyso…e195a841 [5] ai.googleblog.com/2022/10…nce.html [6] https://www.kaggle.com/kaggle-survey-2022 [7] news.microsoft.com/ignite-…-of-news [8] www.thoughtspot.com/blog/th…are-dead #data #readings #opensource #opendata