В рубрике полезное чтение про данные: - о разнице между data wrangling, data cleaning и data transformation [1] от создателей Osmos, стартапа по трансформации данных. Относиться надо, конечно, как к статье с акцентом на плюсы их платформы которая ещё и пока до сих пор в ограниченном доступе, но мысли у создателей ровно те же что и у меня о том что тема преобразований данных недостаточно ИИзирована и мало продуктов для компаний среднего уровня. Эту задачу они и решают, а насколько хорошо - это надо проверять на живых проектах. - о рисках с облачными ценами на инфраструктуру данных [2], автор явным образом продает свой продукт Conveyor по управлению облачной инфраструктурой клауд провайдеров. В России это, сейчас, менее актуально, а в мировых проектах весьма нужно - контроль за стоимостью издержек на обработку данных. Решения могут быть разные, но проблема одна - зависимость от одного провайдера. - обзор текущего состояния Modern Data Stack [3] на весну 2022 года. Ожидаемо "центром массы" в MDS называют dbt, я бы сказал что сейчас это инструмент номер один для задач по обработке данных внутри SQL СУБД. - короткая записка [4] о интеграции данных реального времени в портал data.europa.eu. Европейская бюрократия работает медленно, но системно и записка полезна с точки зрения посмотреть как последовательно думает команда этого проекта над тем как обеспечивать доступ к данным обновляемым непрерывно. Готовых решений у них нет, рассматривают несколько принятых стандартов используемых в интернете вещей. - довольно давнее, но актуальное руководство по плохим данным [5] Bad data guide, с примерами того как и какие ошибки в данных возникают, как их избегать. Вернее ошибки там не только в данных, но и в последствиях их неверной обработки и возможности интерпретации. Есть переводы на разные языки, но никто не сделал пока ещё перевода на русский (!) Ссылки: [1] www.moderndatastack.xyz/journal…for-u0lb [2] blog.dataminded.com/why-ris…8b371f28 [3] www.moderndatastack.xyz/journal…ion-5qer [4] data.europa.eu/sites/d…a_eu.pdf [5] https://github.com/Quartz/bad-data-guide #opendata #data #readings