В рубрике полезного чтения про данные, технологии и не только: Технологии и данные - Don’t make databases available on the public internet [1] прокси для безопасного доступа к базам Postgres в блоге Tailscale. Tailscale - это весьма любопытный Zero-config VPN сервис, не в смысле выйти за пределы юрисдикции страны, а в том смысле чтобы создать виртуальную защищённую локальную сеть между своими устройствами в разных местах. Я лично его использую в бесплатной версии и это очень себя оправдывает. - Postgres: a better message queue than Kafka? [2] в блоге Dagster, системы ETL с открытым кодом о том почему они выбрали Postgres, а не Kafka для управления очередями. Вообще это считается анти-шаблоном, в последние годы было много публикаций где писалось о том насколько не рекомендуется делать очереди задач через RDBMS, и разработчики Dagster тоже об этом знали. Поэтому интересно почему они, всё таки, выбрали этот путь. - matanolabs/matano [3] - озеро данных для инфобеза для AWS. Интересная специализация, с фокусом на сбор и обработку данных и логов и сенсоров в оперативном режиме. - Rok create job immerok cloud [4] стартап Immerok привлекли $17m на создание облачного сервиса на базе опенсорсного продукта для потоковой обработки данных на базе Apache Flink. Альтернатив много, но интересно что нового они предложат. - Apache Iceberg Reduced Our Amazon S3 Cost by 90% [5] о том как миграция на Apache Iceberg позволяет сократить расходы на Amazon S3. Полезное чтение и, честно говоря, уже можно отдельно выделить спектр продуктов и услуг "мы поможем Вам уменьшить расходы на инфраструктуру". Для средних и крупных компаний суперактуально, для малых чуть меньше, но тоже нужно. Регулирование и государство - The EU wants to put companies on the hook for harmful AI [6] - законопроект в Евросоюзе который может позволить пользователям судится с компаниями использующими "опасный ИИ". Через пару лет может стать законом, а ещё и ЕС хочет сделать его "золотым стандартом" для других стран и в нём может быть принцип экстерриториальности как в GDPR․ - Smart cities: reviewing the debate about their ethical implications [7] рассуждения в виде научной статьи об этичности создания и развития умных городов. Стоит почитать чтобы хотя бы понимать разумные доводы почему тотальная автоматизация городской инфраструктуры - это не только хорошо, но и не очень хорошо, а где-то и плохо - Big Data and Official Statistics [8] о том почему текущие методы подготовки официальной экономической статистики устарели и что с ней надо делать с помощью больших данных. Много и по делу о изменении подходов и роли статистических органов власти в мире. Книги - Data Spaces [9] книга в открытом доступе посвящённая пространствам данных как концепции по объединению стандартов, онтологий, форматов, баз данных в некую общую экосистему. Имеет некоторый философский налёт, но полезно для понимания возможного будущего регулирования и академических подходов в этой области Ссылки: [1] https://tailscale.com/blog/introducing-pgproxy/ [2] dagster.io/blog/sk…ge-queue [3] https://github.com/matanolabs/matano [4] www.immerok.io/blog/im…y-access [5] medium.com/insider…de5ce931 [6] www.technologyreview.com/2022/10…iability [7] link.springer.com/article…-01558-0 [8] onlinelibrary.wiley.com/doi/ful…iw.12617 [9] link.springer.com/book/10…-98636-0 #data #opensource #regulation #government