Полезное чтение про данные, технологии и не только: - datasets-server [1] сервер для работы с наборами данных от Hugging Faces. К уже существующим open source каталогам данных появляется новая категория, каталоги данных ориентированные не просто на data science, а на публичное машинное обучение. - refurb [2] утилита для языка Python по повышению качества кода. Правил пока мало, работает только на Python 3.10, но результаты интересные. Она не заменяет pylint, не проверяет стиль кода, а именно улучшает имеющийся код. - Better than JPEG? Researcher discovers that Stable Diffusion can compress images [3] исследователи выяснили что с помощью Stable Diffusion можно достигать лучше сжатия JPEG'ов. Даже интересно когда развитие ИИ достигнет уровня разработки новых алгоритмов сжатия. - Open Sourcing Venice – LinkedIn’s Derived Data Platform [4] в блоге LinkedIn о платформе работы с данными Venice. Пока не до конца понятно как её использовать саму по себе, она выглядит интегрированной в другие дата-продукты LinkedIn - Platformatic DB [5] основанный на Node JS движок генерирующий REST API и GraphQL поверх схемы СУБД. Не первый и не последний такой движок, но несомненно надо бы его потестить в работе. - StockAI [6] "убийца" стоковых каталогов, огромная база стоковых изображений и генератор новых если такого ещё нет. Страшная вещь, поубивает весь стоковый рынок. Интересно какие ещё рынки можно поубивать генераторами изображений? Генератор воллпейперов через ИИ ещё не сделали? - What is Data Engineering: Part 2 [7] вторая часть описания природы инженерии данных от Pragmatic Programmer. Полезно для всех кто работает в этой области. Ссылки: [1] https://github.com/huggingface/datasets-server [2] https://github.com/dosisod/refurb [3] arstechnica.com/informa…s-images [4] engineering.linkedin.com/blog/20…platform [5] https://oss.platformatic.dev/ [6] https://www.stockai.com/ [7] newsletter.pragmaticengineer.com/p/what-…g-part-2 #opensource #data #datatools #readings