Ivan Begtin. Страница 40
3903
@begtin
I am focused on Open Data, Procurement, e-Government, Open Government and other tech stuff
-
Ivan Begtin
В рубрике как это устроено у них портал GovInfo.gov [1] Правительства США. Единый портал раскрытия документов федеральных органов власти, начиная с законов и до всех остальных нормативных и иных распорядительных документов подлежащих обязательному раскрытию. Например, все документы бюджетов США [2] или официальная экономическая статистика [3] или отчеты конгресса [4]. Все эти данные раскрываются для массовой выгрузки (bulk download) и через API [5]. В России нормативные документы публикуются в нескольких государственных информационных системах, ненормативные публикуются в на сайтах ведомств. Обязательные требования по архивации и централизованному раскрытию всех создаваемых отчетов, статистики, нормативных и иных документов отсутствуют или покрывают далеко не все. Можно сказать что в России сейчас нет единого портала раскрытия государственных документов. Ссылки: [1] https://www.govinfo.gov [2] www.govinfo.gov/app/col…get/2022 [3] www.govinfo.gov/app/col…022/01/1 [4] https://www.govinfo.gov/app/collection/crpt [5] https://www.govinfo.gov/developers #opendata #usa #opengov -
Ivan Begtin
Полезное чтение про данные - The Death of Data Modeling - Pt. 1 [1] о том как текущие подходы к разработки влияют на моделирование данных и о том что это необходимо перезапускать/воскрешать уже в рамках Modern Data Stack - Airflow Summit 2022 — The Best Of [2] материалы саммита AirFlow, хорошая подборка ссылок - Automated Experiment Analysis - Making experimental analysis scalable [3] про автоматизацию ML экспериментов в Grab - A framework for designing document processing solutions [4] фреймворк для потоковой обработки сканированных документов Ссылки: [1] dataproducts.substack.com/p/the-d…ing-pt-1 [2] medium.com/apache-…ee2527fa [3] engineering.grab.com/automat…analysis [4] ljvmiranda921.github.io/noteboo…ramework #data #datatools #readings -
Ivan Begtin
Отвлекаясь от технологических тем, в Полит.ру есть проект "После" про моделирование будущего России, интервью со мной назвали «Единственная стратегия выживания – это радикальная деконсерватизация общества» [1] а я как мог говорил о самых радикальных преобразованиях как возможное будущее страны. А может быть даже не о самых радикальных. Ссылки: [1] https://polit.ru/article/2022/06/21/begtin/ #politics #russia -
Реклама
-
Ivan Begtin
Вышел Tauri 1.0 [1] первый релиз фреймворка для построения кросс-платформенных приложений с помощью языка Rust. Авторы очень постарались чтобы приложения на его основе имели минимальный футпринт - были бы как можно меньше по размеру, потребляли бы меньше CPU и оперативной памяти. В нынешнее время приложений распухающих до сотен гигабайт это вызывает большое уважение и признак высокой квалификации разработчиков. У создателей много бенчмарков подтверждающих такой подход [2] и в целом одного взгляда на код и на примеры достаточно чтобы понять что будущее приложений для десктопа если не за Tauri, то за подобными фреймворками как новым подходом. А подход как раз в том о чём я ранее писал про модель local-first [3]. Дословно из их описания Tauri allows you to build "local first" applications without a webserver, so your users don't have to share their data with big tech. Using local databases and rust based cryptography have never been easier. При том что как раз big tech не связанный с разработкой ПО активно Tauri используют, например, Cloudflare и Digital Ocean. Из любопытных продуктов на Tauri можно обратить внимание на SpaceDrive [4] файловый менеджер в активной разработке с множеством интересных возможностей вроде поддержки облачных файловых систем, шифрованного хранилища, управления ключами и тд. А также большая подборка приложений в списке Awesome Tauri [5] Если говорить про настольные приложения по интенсивной работе с данными, например, настольные приложения для data wrangling нового поколения, то Tauri выглядит как очень подходящий инструмент. Ссылки: [1] https://tauri.app/blog/tauri_1_0/ [2] https://tauri.app/about/benchmarks [3] https://t.me/begtin/3977 [4] https://www.spacedrive.com/ [5] https://github.com/tauri-apps/awesome-tauri #opensource #frameworks #datatools -
Ivan Begtin
Свежий доклад ORelly о каталогах данных сделанный в партнерстве/при поддержке стартапа Alation [1]. Хотя такие доклады при поддержке одного из коммерческих игроков нельзя назвать полностью нейтральными, но доклад полезный, определяет три вида каталогов данных: инструментальные, отраслевые и платформенные. Плюс отсылки на интересные проекты, не все из них широко известны. Например, я неожиданно для себя открыл Ground [2], проект Google и UC Berkley по анализу контекста работы с данными. Ссылки: [1] www.alation.com/resourc…-catalog [2] http://www.ground-context.org #datacatalogs #dataplatforms #data -
Ivan Begtin
Написал лонгрид расширяя тему открытости как признака жизни цифровых экосистем [1] и всё больше склоняюсь к тому что единственный способ поддержания открытости, включая открытость данных, это наличие активных и институциональных потребителей этой открытости. Это примерно как то что открытость науки не работает без науки, а открытость данных для дата-журналистов не работает без живой журналистики и так далее. Ещё в лонгриде я не приводил такого примера, но вот можно посмотреть на ту же законопроектную деятельность у нас в стране. Она довольно таки открыта, можно увидеть результаты голосования депутатов, тексты законопроектов, есть данные, видеозаписи и тд. Вот только в виду конструкции политической системы от этой открытости нет практического толка, поскольку она не позволяет как-либо влиять на принятие решений. Помимо этого почти все те кто могли бы эту открытость использовать, либо признаны инагентами, либо на грани признания. Ссылки: [1] https://begtin.substack.com/p/26?sd=pf #opendata #openness #opengov -
Ivan Begtin
Довольно много обсуждений сейчас в профессиональных сообществах о том кто такие дата инженеры, как и кто их готовит, чем они занимаются. А я не могу не напомнить Data Engineering Manifesto [1]. Если заниматься самоидентификацией, я бы отнес себя именно к дата инженерам. Сомнения лишь в том что кроме технических задач я много лет занимаюсь просветительством, популяризацией, открытыми данными, публицистикой и общественной деятельностью. Но если спросить меня про профессию с которой я бы идентифицировал себя, я бы начал именно с инженерии данных. Ссылки: [1] www.dataminded.com/data-en…anifesto #dataengineering 
-
Ivan Begtin
Юлия Старостина в The Bell пишет о том что Минфин РФ засекретил данные оперативного отчета о бюджете [1] и в опубликованных данных теперь нет детализации расходов. Действительно, если сравнить предварительную оценку исполнения федерального бюджета за январь-апрель 2022 года опубликованную 17 мая Минфином [2] и предварительную оценку исполнения федерального бюджета за январь-май 2022 года [3] то видно что данные закрыты. Туда же я бы добавил то что Федеральное Казначейство перестало публиковать оперативные отчеты по исполнению федерального бюджета, последний был на 1 апреля 2022 г. и опубликован 15 апреля и изменен 25 апреля [4], а также с февраля 2022 года не публикуется ежемесячная статистика государственных финансов [5] и ещё много чего. Как тут не вспомнить что ещё недавно речь шла про высокую степень открытости российского бюджета, а теперь нет никого из официальных лиц кто мог бы сказать о том что закрывать данные бюджета ошибочно. Недавно я писал о том что открытость - это признак жизни [6] экономической системы и общественной жизни, чуть позже я доделаю на эту тему большой текст, я как раз над ним работаю. Закрытие данных о бюджете укладывается в идею "омертвения" бюджетной активности. Не стоит верить тем кто утверждает что оно нужно для сокрытия военных расходов или усложнения работы разведчиков других стран. Причины закрытия подобных данных куда более прозаичны. Первое - это сокрытие сигналов о реальном состоянии экономики от внутренних экономических агентов. Без достоверной информации многие не могут планировать свои действия. Закрытие данных один из сигналов _крайне плохого состояния_ сейчас и в будущем Второе - это перераспределение финансовых (бюджетных) потоков. Фактически это означает что ограниченная группа лиц близкая к политическому руководству будет иметь значительно больше информации и, как следствие, ещё большую монополию на распределение бюджетных ресурсов. Ссылки: [1] thebell.io/minfin-…yudzheta [2] minfin.gov.ru/ru/pres…s-center [3] minfin.gov.ru/ru/pres…s-center [4] roskazna.gov.ru/ispolne…het/1021 [5] roskazna.gov.ru/ispolne…-rf/1038 [6] https://t.me/begtin/3955 #budget #openness #govfinances #government -
Ivan Begtin
Издание Собака собрало мнения про то что будет если Россию отключат от европейских точек обмена трафиком [1]. Я там тоже прокомментировал как смог. Ключевое - надо понимать что любые ограничения трафика всегда вредят потребителям, с чьей бы стороны эти ограничения не возникали. Ссылки: [1] https://www.sobaka.ru/city/internet/151253 #network #connectivity -
Ivan Begtin
В рубрике полезных наборов данных, реестр ИТ компаний имеющих подтверждённые налоговые льготы в ФНС и работа в которых позволяет получать льготную ипотеку. Не путайте с реестром аккредитованных ИТ компаний где чего только нет! Данные в формате Excel для журналистов и аналитиков, потом эти и другие данные загрузим в каталог данных DataCrafter. Больше о наборах данных будет в новостях на @apicrafter. #datasets #opendata -
Ivan Begtin
Для тех кто регулярно пользуется ETL/ELT инструментами, обновился Apache Hop, визуальный ETL движок с большим числом встроенных трансформаций над данными [1]. В новой версии 2.0 осуществили переход на Java 11 и кучу новых плагинов [2]. Лично я не отношу себя к фанатам Hop да и других ETL продуктов из экосистемы Apache, всё таки продукты вроде Meltano, Dagster, Prefect и др. написанные на Python, Go и тд. представляются мне куда более практичными, но для ряда задач инструменты вроде Hop могут быть полезны. Например, когда изначально инфраструктура построена на других продуктах из экосистемы Apache и основной язык разработки Java. Ссылки: [1] https://hop.apache.org/ [2] https://hop.apache.org/blog/2022/06/hop-2.0.0/ #datatools #etl #opensource -
Ivan Begtin
Dynamic World [1] проект World Resource Institute и Google по визуализации изменений на карте мира после катастроф, таких как пожары, наводнения, войны, извержения вулканов. На сайте карта с разрешением до 10 метров, много примеров катастроф и научная работа посвящённая этому проекту [2]. Главное что обещают, почти реальное время обновления данных. 5000 изображений обновляется ежесуточно, в зависимости от локации общее время обновления составляет от 2 до 5 дней. Проекту не хватает разве что API и возможности исследователям работать с первичными данными напрямую, но думаю что это скоро появится причём в связке с UNDP и Humanitarian Data Exchange, уж очень эти проекты комплиментарны и подходят друг другу. Ссылки: [1] https://www.dynamicworld.app/ [2] www.nature.com/article…-01307-4 #data #google #wri #dataproducts -
Ivan Begtin
Toolkit on Digital Transformation for People-Oriented Cities and Communities [1] руководство по цифровой трансформации городов от ITU и UNDP (структуры ООН). Включает курс с рассказом о используемых инструментах. Также включает гайд в виде книжки [2]. В модуле 3 [3] Data Processing and Management одним из инструментов являются открытые данные в контексте доказательной политики (evidence- based policy making). В целом ООН во всех сферах делает акцент на открытых данных, создаёт собственные порталы, упоминает в материалах всех своих структур. Ссылки: [1] https://toolkit-dt4c.itu.int/ [2] www.itu.int/en/publ…dex.html [3] https://toolkit-dt4c.itu.int/module-3/ #opendata #undp #itu 
-
Ivan Begtin
У Ben Stancil очередное замечательное рассуждение Microsoft, Google, and the original purple people [1] о том как устроены экосистемы продуктов по работе с данными и, что мне отметилось, он разбирает экосистему Microsoft и Google и отмечает что большое преимущество Microsoft в хорошей упаковке и совместной работе продуктов несмотря на то что по отдельности их продукты хуже некоторых на рынке, но интеграция между ними реально хороша. У Google такого нет и слишком часто каждый их продукт это вещь в себе, тяжелая в интеграции даже с другими Google продуктами. Хороший текст, мне нравятся рассуждения Бена, для основателя стартапа он на редкость вдумчив и пишет без маркетинговых лозунгов, но так что вчитываешься. Его рассуждения натолкнули и меня про рассуждения про российские облачные продукты. И тут у меня есть тезис - их не существует. Не существует не в том смысле что их нет на рынке, вроде как есть там что-то у VK и даже Яндекс.Облако, как бы существует, а кто-то ещё вспомнит про Selectel и других, но, есть существенная проблема - ни Яндекс, ни VK существенной ставки на их продукты не делают. А все остальные слегка в незрелом состоянии. По идее они все должны были с начала февраля запускать программу миграции с зарубежных сервисов и вложится в маркетинг, предлагать бесплатные 2-3 месяца тем кто переезжает, предлагать услуги по миграции, потому что, казалось бы, вот такая гигантская рыночная возможность. Ну как её упустить? Но ни Яндекс, ни VK, не рассматривают облака и сетевую инфраструктуру как инструмент заработка или рыночного доминирования. Как это делают Amazon, Google, Microsoft и ещё ряд международных big tech компаний. Инфраструктуру обработки данных всё ещё удобнее делать не в России, а в международных облачных провайдерах. Если есть валюта, и возможность, конечно. Тем кто может это делать. Кстати знает ли кто-либо в России какую-либо крупную инфраструктурную компанию похожую на Яндекс или VK, но с прицелом на облачную инфраструктуру или я прав утверждая что таких нет? Ссылки: [1] benn.substack.com/p/the-o…e-people #datainfrstructure #clouds #data #readings -
Ivan Begtin
OpenOwnership, международный проект по стандартизации и содействию раскрытия реальных бенефициаров юридических лиц по всему миру, опубликовали руководство-обзор-рекомендации по введению санкций против стран которые не обеспечивают раскрытие информации о бенефициарных владельцах [1]. Документ полезный для специалистов по комплаенс и для понимания развития регулирования в мире в части прозрачности информации о владении компаниями. Для тех кто не отслеживал мои прошлые публикации про Open Ownership, это одна из интересных международных инициатив по стандартизации публикации открытых данных с фокусом на раскрытие данных о реальных владельцах. Это главное что отличает их от проекта OpenCorporates где собрана информация только о учредителях. Уже сейчас по стандарту Open Ownership опубликованы реестры нескольких стран: Словакий, Украина, Великобритания, Дания и ряд других. Ссылки: [1] www.openownership.org/en/publ…sclosure #opendata #datastandards -
Реклама
-
Ivan Begtin
Я довольно давно хочу написать рефлексию по поводу продолжающегося закрытия данных в России, о причинах этого и о причинах того почему ранее открытость государства/информации/данных в какой-то форме присутствовали. Дело в том что открытость - это одна из характеристик жизни экосистемы. Например, пока была хоть какая-то внешняя и внутренняя политическая жизнь в России то и были доступны данных связаны с этой политической жизнью. Пока была живая экономика - открытость присутствовала потому что доступность информации необходима для инвесторов, владельцев бизнеса и иных лиц принимающих решения. В странах с сильным фондовым рынком финансовая и экономическая открытость данных очень высока и, обычно, если и имеет ограничения то только стоимостные. Пока была жива какая-то внутрироссийская невоенная повестка была жива тема данных характеризующих качество жизни. Она и сейчас жива, в ней всегда были и есть разнонаправленные тенденции интересов держателей ресурсов и "подневольного населения", но сама тема и проблема никуда не исчезала. Пока была жива наука там была повестка открытости и из-за мирового движения к Open Access, и из-за необходимости понимать что же за исследования по факту происходят. Сейчас ключевой вопрос открытости науки в России, в том а кому эта открытость будет нужна? Кто будет воспроизводить исследования если международной повестки более нет? И так далее, какую тему не возьми, всюду открытость, является одной из характеристик жизни. Собственно когда доступная информация начинает превращаться в индикаторы смерти или глубокой болезни какой-то среды, то и политические власти, регуляторы, иные заинтересованные лица делают всё возможное для искажения данных или полного их сокрытия. #opendata #thoughts -
Ivan Begtin
Вышла версия 2.0 Meltano [1] ELT движка интегрированного в Modern Data Stack, все изменения как раз про эту интеграцию. В частности там поддерживается: - dbt для трансформации данных - Great Expectations для качества данных - Airflow для управления потоками данных - Superset для аналитики И ещё много чего. На поляне ELT у Meltano сейчас возможно наилучший потенциал, растущее сообщество и хорошее развитие продукта. Если думать с каким ELT движком интегрировать свои продукты то Meltano - это хороший вариант. Ссылки: [1] https://meltano.com/blog/meet-meltano-2-0/ #opensource #datatools #etl #elt #moderndatastack -
Ivan Begtin
В рубрике больших открытых наборов данных стандарт сериализации данных HDT [1], используется для бинарной сериализации данных в формате RDF, используемом при разработке проектов в области семантического веба и онтологий. На сайте стандарта опубликовано множество датасетов [2] самый большой из них - набор данных Wikidata размером в 149GB. Для работы с этим форматом есть библиотеки для C++ и Java, а также настольное приложение. Ссылки: [1] https://www.rdfhdt.org/ [2] https://www.rdfhdt.org/datasets/ #opendata #datasets