Ivan Begtin. Страница 66
3903
@begtin
I am focused on Open Data, Procurement, e-Government, Open Government and other tech stuff
-
Ivan Begtin
Для тех кто ищет вдохновения и красивую инфографику, большая коллекция из 100 красивых и иноформативных визуализаций [1] от Observable Визуализаций там много и многие из них очень даже неплохи. Например, World Grids [2] с разными формами отображения мира. А мне лично нравится сама модель Observable в виде открытой воспроизводимой визуализации, единственный недостаток для пользователя это неотделимость от самой платформы, но с точки зрения создателей платформы - это, конечно, её преимущество. Ссылки: [1] observablehq.com/@tomlar…ooks2021 [2] observablehq.com/@neocar…ld-grids #infographics #dataviz #vizualization -
Ivan Begtin
В рубрике много интересного чтения о данных. Практически все по практике работы с данными и технологических стартапах: - 30 startups that show how open source ate the world in 2021 [1] обзор 30 стартапов продуктов с открытым кодом привлекших значительное финансирование. Многие стартапы исключительно про работу с данными и про инфраструктурные аспекты работы с данными, например, MindsDB [2] про машинное обучение внутри СУБД или Airbyte [3] про преобразование и интеграцию данных. Там же упоминается весьма интересный проект Hoppscotch [4] про проектирование API с открытым кодом, фактически открытый аналог Postman. А модель многих open source продуктов часто похожа на "давайте посмотрим на лучший продукт на рынке и сделаем такой-же только с открытым кодом. А зарабатывать будем на облачной версии", иногда это работает;) - One Year of dbt [5] статья автора о более чем годе практике использования Dbt (data build tool) [6], теперь уже популярном инструменте преобразования данных, с открытым кодом и интеграцией практически со всеми современными корпоративными инструментами и современным стеком данных. - Announcing preview of BigQuery’s native support for semi-structured data [7] в Google BigQuery анонсируют поддержку полу-структурированных данных, с обращением к JSON данным внутри запросов. Много времени прошло с тех пор как она ожидалась и вот появилась. Ссылки: [1] venturebeat.com/2022/01…-in-2021 [2] https://mindsdb.com/ [3] https://airbyte.com/ [4] https://hoppscotch.io [5] tech.devoted.com/one-yea…474841ca [6] https://www.getdbt.com/ [7] cloud.google.com/blog/pr…red-data #reading #data #tech -
Ivan Begtin
Как меняется повестка открытости в мире? Начиная с открытых данных и продолжая открытыми знаниями и другими движениями открытости. Когда то в основе многих из этих движений было Open Knowledge Foundation (OKF), сейчас мир довольно сильно меняется. OKF решили провести более чем 100 дискуссий [1] с визионерами, инженерами, активистами, учёными и тд. о том как какие вызовы наиболее значимы и как видение и стратегия открытости должны измениться. Хорошая цель и если Вам есть кого им порекомендовать, то это можно сделать с помощью специальной веб-формы [2]. А я не могу не напомнить что повестка открытости меняется не только в внутри Open Knowledge Foundation. Одно из важных изменений, например, в открытых данных - это то что называют 3-й волной открытых данных. Переход от Open Data by Default к Publish with the purpose [3] в стратегиях публикации данных органами власти. Поэтому вопросы актуальные и желание OKF изменить стратегию к новой реальности тоже очень интересно. Ссылки: [1] blog.okfn.org/2022/01…irection [2] https://okfn.typeform.com/conversations [3] opendatapolicylab.org/third-w…pen-data #opendata #opengov #openknowledge -
Реклама
-
Ivan Begtin
Писать о том как журналисты искажают смысл оригинальных новостей уже стало чем-то обыденным. Кризис ли это журналистики в принципе или в отдельных изданиях, но не могу не обратить внимание на публикации с хлёсткими заголовками: - ЕС потребовал от России многомиллиардную компенсацию за импортозамещение (РИА Новости) [1] - За нормы ВТО: Евросоюз потребовал от России €290 млрд (Известия) [2] При этом самая адекватная публикация была в РБК - Евросоюз оценил потери из-за политики импортозамещения России в €290 млрд (РБК) [3] Потому что в оригинальной новости на сайте ВТО [4] ничего нет про сумму которую Евросоюз требует, там речь идет о требовании отмены российской политики импортозамещения и оценки средств на которую эта политика распространялась, это те самые 290 миллиардов евро или 20% российского ВВП. Собственно Блумберг писал об этом ещё 20 декабря [5], когда вышла новость на сайте ВТО. Всё это не значит что на Россию не могут быть наложены штрафы, но это точно произойдет не в следующем году и точно не на сумму указанную Евросоюзом как объем средств дискриминируемых товаров. Но на политику импортозамещения в России может повлиять и пока нельзя предсказать как именно потому что это вопрос, в первую очередь, макрополитический и того что российские власти пошли по пути прописывания импортозамещения в нормативных документах, а это и есть предмет претензий Евросоюза. P.S. Самое забавное в том что в России очень многие относятся к стратегии импортозамещения с большим скепсисом, особенно в ИТ, а вот в Евросоюзе, судя по претензиям переданным в ВТО, относятся очень серьёзно. Ссылки: [1] https://ria.ru/20211226/es-1765519939.html [2] iz.ru/1269467…290-mlrd [3] www.rbc.ru/rbcfree…12162062 [4] www.wto.org/english…21_e.htm [5] www.bloomberg.com/news/ar…mination #government #procurement #russia #eu #importsubstitution -
Ivan Begtin
В рубрике больших наборов данных архив Github в некоммерческом проекте Github Archive[1]. Ежедневно, ежечасно там собирается слепок данных о 20+ событиях по репозиториям в Github. Я писал о нём ранее и всегда актуально напомнить о нём потому что данные из этого архива присутствуют уже на нескольких крупных платформах. Их слепок на декабрь 2020 года есть на Clickhouse [2] (проект Яндекса) и с ними можно работать онлайн через веб интерфейс [3] или API. Там же у них есть есть полный слепок этих данных в виде архива на 83GB, хороший тестовый набор живых данных для тех кто хочет работать с Clickhouse с большим статическим объёмом данных. Доступ к данным из этого архива есть и через Google BigQuery [4], он появился ещ в 2016 году если не раньше, но, судя по описанию в каталоге BigQuery не обновлялся с 2019 года. Интересно обновляется ли набор Яндекса? Кстати, надо бы проверить. Всё это возможно потому что Github предоставляет открытое API для доступа к данным. Его я использовал когда-то для анализа открытого кода органов власти [5]. Я этот анализ в первый раз проводил 5 лет назад и повторял потом несколько раз, но со временем делать несколько сотен тысяч запросов к API для получения статистики стало утомительно и планировал перейти на работу через API поверх GH архива, но для этого нужно чтобы данные там были актуальны. А также не могу не напомнить презентацию исследователей [6] ещё с 2012 года о том как можно анализировать данные Github'а для расчёта разных метрик в привязке к языкам разработки, лицензиям, организациям и тд. А также напомню что в России немного государственного кода на Github есть в репозитории [7] который я давно поддерживаю. Ссылки: [1] https://gharchive.org [2] https://ghe.clickhouse.tech/ [3] https://gh-api.clickhouse.tech/play?user=play [4] https://console.cloud.google.com/bigquery?p=bigquery-public-data&d=github_repos&page=dataset&project=test1-162811 [5] data.world/ibegtin…-project [6] www.igvita.com/slides/…rata.pdf [7] github.com/infocul…e-russia #opensource #opendata #openapi #datasets -
Ivan Begtin
Мессенджер Signal выпустил обновление, в котором максимальное количество участников групповых аудио- и видеозвонков увеличено с пяти до 40. В анонсе разработчики подробно описывают, как им удалось запилить поддержку групповых звонков с большим количеством участников и сквозным шифрованием одновременно. Говорят, что решали интересную проблему: • Если все участники шлют свое аудио и видео каждому другому участнику по отдельности и так же получают (full mesh), то сквозное шифрование есть, но многим участникам будет не хватать пропускной способности - в звонке на 40 человек надо поддерживать 39 соединений. • Если каждый участник шлет свое аудио и видео на сервер, а сервер "микширует" из этого единственный аудио и видео поток для каждого другого участника, то пропускной способности участникам будет хватать, но нельзя сделать сквозное шифрование - серверу нужны расшифрованные аудио- и видеопотоки каждого участника для микширования. • Поэтому пришлось выбирать третий вариант: selective forwarding, когда каждый участник шлет свои аудио и видео на сервер, а сервер пересылает их остальным, не расшифровывая (потому что ключей шифрования у него нет). В результате команда Signal выбрала самостоятельно написать такой сервер и выложила код на GitHub. Signal все-таки молодцы, они очень подробно объясняют, как у них что устроено. В подобных решениях как раз момент со сквозным шифрованием групповых звонков часто остается неясным. signal.org/blog/ho…up-calls -
Ivan Begtin
Я несколько раз писал ранее о executable papers [1] [2], когда научные статьи готовятся сразу в виде кода в Jupyter Notebook и аналогах, предоставляя возможность простой и быстрой воспроизводимости и прозрачности исследования и его результатов. Этот подход, executable papers, в принципе шире. Например, ещё один сервис Stencila [3] позиционируется создателями как Executable document pipelines. Он всё ещё скорее про executable papers, с акцентом на научное применение, но, тем не менее научная среда далеко не единственная область где подобное применимо. Напримео, идея executable documents вполне транслируема на техническую документацию или на аналитические отчеты или на корпоративную отчетность и ещё много на что. При наличии фантазии можно транслировать на нормативные документы для моделирования структуры и последствий изменений или на аудиторские отчеты или на государственные доклады или на отчеты перед инвесторами - пространство для полета мыслей есть. Я не единственный кто думаю об этом, вот тут есть рассуждения нескольких авторов на близкие темы о executable software documentation [4] [5]. В каком-то смысле, например, Observable [6] это тоже про executable, только executable visualization. Но важно то что во всех случаях, в каждом из примеров, документ- это больше чем текст. Это ретроспектива, логика, воспроизводимость и код отражением которого является уже сформированный текст. Пока же всё идет к тому что будущее научных публикаций именно за подобными executable papers и в каких-то науках, таких как как науки о жизни, инженерные науки или в компьютерной лингвистике они станут (а может уже становятся?) стандартом де-факто. Ссылки: [1] https://t.me/begtin/2147 [2] https://t.me/begtin/2607 [3] https://stenci.la/ [4] apiumacademy.com/blog/ex…benefits [5] craignicol.wordpress.com/2020/09…entation [6] https://observablehq.com/ #papers #science #executablepapers #data #opensource Ivan Begtin В Nature статья о переосмыслении научных статей, и перевод их в формат "исполняемых статей" (executable papers) [1] идея в том что электронная научная публикация должна иметь формат аналогичный цифровым записным книжкам таким как Jupyter Notebook или Wolfram Notebook и должна включать всё необходимое, исходный код и данные для её перепроверки. Эта концепция не нова, и давно присутствует, например, в Codalab [2], но пока ещё она не стала всеобъемлющей. Автор приводит пример с его статьей с анализом данных температуры земли, опубликованными данными и кодом [3]. А также множество примеров проектов готовых шаблонов воспроизводимых проектов [4]. Основной и важнейший, можно сказать инновационный, подход в том что научная статья/публикация - это не документ, а некий интерактивный открытый цифровой продукт, включающий как описания и выводы, так и исходный код, данные и формулы организованные таким образом чтобы можно было максимально упросить работу по воспроизведению результатов. Определение из CodaLab звучит как…
-
Ivan Begtin
Я регулярно слышу аргументы и утверждения в стиле "за нами и так всё следят, так чего боятся?" или "из Интернета всё равно уже ничего не удалить" и тому подобное. Вся это логика в стиле "всё равно ты когда-нибудь подскользнёшься и упадёшь, так ничего страшного если ты упадёшь и сейчас" или в стиле "тебя же уже били 20 человек, тебе что жалко ещё кто-то ещё побьёт?". Добровольная беспомощность и обыденность зла. Вот что это такое. -
Ivan Begtin
Cogram [1] ассистент программирования для задач машинного обучения. Интегрируется с Python и помогает в работе с SQL. Переводит тексты на ясном английском языке в программные директивы. Выглядит недорого, $29 в месяц за профессиональную версию и бесплатно для личного пользования. А перспективы хорошие. Так и хочется сказать что первое что делают разработчики и инженеры инструментов на базе ИИ - это лишать работы других разработчиков и инженеров ИИ;) Ссылки: [1] https://www.cogram.com #machinelerning #datascience -
Ivan Begtin
В каталог каталогов открытых данных добавлен репозиторий открытых данных по русской литературе и фольклору Института русской литературы (Пушкинский дом) РАН. В общей сложности каталог включает 255 каталогов данных, преимущественно открытых и общедоступных данных. Если Вы знаете источник данных который отсутствует в каталоге присылайте его нам на [email protected] или через форму добавления на сайте. -
Ivan Begtin
Тим Дэвис, консультант Open Data Institute, и довольно хорошо известный эксперт в открытых данных опубликовал серию заметок о порталах (открытых) данных [1]. Тем кто хочет разбираться в этой теме - всячески рекомендую, он описывает если не все, то многие аспекты их работы. Он упоминает многие продукты в каталогов такие как CKAN, DKAN, OpenDataSoft, Jupyter, Socrata, Knoema и ещё немало. А также многие исследования порталов открытых данных, например, за время COVID-19, то как на них публиковались данные о коронавирусе. Это, кстати, лучшая метрика понимания насколько живой/мертвый портал данных у страны/территории. Если данные о коронавирусе публикуются - то точно живой, а если нет, то есть сомнения. Чего в заметках нет или мало - это обзора открытости данных в контексте открытости науки и цифровых научных репозиториев данных и того какие инновации происходят сейчас в экосистеме продуктов относящихся к Modern Data Stack (data engineering, data science) и тд. А я напомню что каталогов данных в мире много. Есть несколько каталогов каталогов данных, их перечней. Самый большой и не очень точный - opendatainception.io [2] от Open Data Soft. Там более 2600 источников, но некоторые из них не каталоги, а просто разделы на сайтах с минимум данных. Значительно меньше datacatalogs.org [3] от Open Knowledge Foundation, там 592 каталога данных. А также напомню про каталог данных Инфокультуры datacatalogs.ru [4] где собрано около 250 каталогов и репозиториев данных в России и о России. Ссылки: [1] https://dataportals.pubpub.org [2] https://opendatainception.io [3] http://datacatalogs.org [4] https://www.datacatalogs.ru #opendata #datacatalogs -
Ivan Begtin
Крупное публичное акционерное общество чьи акции торгуются на ММВБ и с немалой капитализацией, которое я называть не буду, публикует паспортные данные членов совета директоров в отчетных материалах общих собраний акционеров на своём сайте для инвесторов. Почему они это делают? Потому что не вычищают их из итоговых документов согласий кандидатов в советы директоров. А там для россиян указаны паспорта, для иностранцев ничего такого нет. Почему об этом мало кто знает? Потому что файлы выкладывают в виде сканов в PDF внутри ZIP архивов. А Вы думаете как находят личные данные уважаемых людей? Вот так и находят. Причиной этого всего является абсолютно идиотская российская юридическая практика вписывать паспортные данные в любой юридически значимый подписываемый документ. #privacy #personaldata -
Ivan Begtin
Для тех кто считает что открытые государственные данные - это атрибут исключительно развитых демократических стран и развивающихся стран которым развитые оказывают поддержку, могу сказать что это совершенно не так. В качестве примера портал открытых данных Саудовской Аравии [1], а также методический раздел на государственном сайте страны [2]. В Саудовской Аравии опубликовано в открытом доступе 6000+ наборов данных, а также предоставляются API, в том числе, предоставляющие данные в реальном времени. Кроме Саудовской Аравии порталы открытых данных есть в таких не-демократических странах как Оман, ОАЭ, Бахрейн, Китай и множестве других. Потому что открытость данных - это характеристика _действующего_ государства, они необходимы как часть коммуникации с бизнесом и с критически мыслящими гражданами, в том числе, для демонстрации того что чиновникам нечего от них скрывать. Ссылки: [1] https://data.gov.sa/en/home [2] www.my.gov.sa/wps/por…openData #opendata #democracy -
Ivan Begtin
Полезная июльская статья о внутреннем устройстве архитектуры работы с данными LinkedIn [1] и свежая статья о том как как они перестраивают аналитические дашборды внутри [2]. И то, и то, читать весьма интересно. Почти весь стек данных у них основан на относительно ограниченном наборе данных, около 1400+ датасетов и команде в более чем 900+ человек. А всё построено поверх экосистемы Hadoop с множеством собственных надстроек, большая часть которых с открытым кодом. Меня зацепило что они отказываются от Avro и CSV в сторону формата Apache Orc [3], а не Parquet или других форматов. И конечно, в очередной раз убеждаюсь, что стэки данных больших дата проектов бывают очень сложными. В схемах LinkedIn также видно как они отказываются от проприетарного ПО в сторону своего и внешнего открытого кода. Ссылки: [1] engineering.linkedin.com/blog/20…ipelines [2] engineering.linkedin.com/blog/20…ch-stack [3] https://orc.apache.org/ #dataarchitecture #data #datastack #linkedin -
Ivan Begtin
Для тех кто интересуется контекстом возросшего внимания к открытому коду в России, могу порекомендовать полезное чтение в виде обзора группы MERICS (Mercator Institute for China Studies) от мая 2021 года. Там неплохой анализ того что сейчас происходит в Китае и про разницу в подходе с другими странами. Ключевое - в Китае провели несколько исследований и, вообще, "разгонялись медленно" и очень чёткий акцент на замену конкретных продуктов на национальные аналоги (тоже с открытым кодом). А также рекомендую почитать CAICT Open Source White Paper. У Китая своя большая стратегия в итоге и её надо изучать и оценивать применимость к России. #opensource #opengovernment #opengov #china 
-
Реклама
-
Ivan Begtin
Подборка полезного чтения: - обзор работы с ФИАС на Хабре - одна из крупных баз данных раскрываемых ФНС. Работать с ней непросто, статья полезная - расследование о том как некоторые УЦ выдают подложные сертификаты и там же в канале у автора рекомендации как действовать если Вы с таким столкнулись - группа по надзору за таксономиями (Taxonomy Oversight Group) появилась при агентстве по стандартизации данных в UK. В тексте подробности о том чем она занимается - ведомственная стратегия работы с данными от HM Courts & Tribunal Service (Службы судов и трибунала) Великобритании. Хороший пример высокоуровневого документа #opendata #privacy #texts #reading -
Ivan Begtin
К вопросу об открытости кода созданного за счёт бюджетных средств, мне вспомнилась тема про Government Abandonware. Об этом ещё в 2015 году писал Borzhdar Bozhanov [1]. Government abandoware - это когда государство производит за бюджетные деньгие никому ненужный софт и потом, в лучшем случае его открывает, а в худшем это просто хранится где-то внутри органов власти. Такого abandonware очень много в Евросоюзе, много в других странах, даже в наиболее развитых экономически и это только если посмотреть на раскрытый исходный код. А если посмотреть на не открытый? Реальная системная работа которую могло бы проделать Минцифры России, Росимущество и Минфин России - это провести тотальную инвентаризацию всего ПО разработанного на бюджетные деньги и понять какая его часть имеет хоть какое-либо реальное применение. Результаты будут такие что их сразу захочется засекретить. Да чего уж там, даже если провести такую инвентаризацию в любом отдельно взятом органе власти выяснится немало о том что есть используемые программы без кода и разработчиков и что ещё больше просто неработающего кода сданного на дисках/дискетах в незапамятные времена. В любом случае я хочу ещё раз подчеркнуть что стратегия открытого кода в органах власти в мире совмещалась и совмещается со стратегиями открытой разработки. Возможности независимым разработчикам контрибьютить в код создаваемых госорганами. Как корпорации получающие выгоду от совместной разработки, так и органы власти. Тем кому не нравятся примеры США и Великобритании приведу пример любимого в российском госуправлении Сингапура. В Сингапуре в основе открытости государства даже не данные, а именно открытый код [2] (хотя я лично, конечно, предпочёл бы данные). Поэтому в основе стратегии открытости кода Минцифры и других органов власти лежит главная задача - волевое решение на раскрытие кода и открытую разработку, в первую очередь, внутренними командами министерства и других органов власти. Тут бессмысленно спрашивать ИТ отрасль надо это или нет или ждать чего-то одобрения. Бессмысленно не потому что в ИТ компаниях не знают что это такое и не умеют такое, а потому что это, в данном случае, внутреннее дело органов власти. А отрасли надо "помогать и не мешать" как выразился Максут Шадаев на последнем мероприятии Russia Open Source. Ссылки: [1] techblog.bozho.net/governm…ndonware [2] https://github.com/opengovsg #opensource #russia #policy #government -
Ivan Begtin
В рубрике больших наборов данных проект OpenCitations [1], один из проектов открытой научной инфраструктуры поддерживаемый SCOSS (The Global Sustainability Coalition for Open Science Services). Open Citations - это открытая база данных научных цитат в виде API и дампов данных. В общей сложности в ней более 1.2 миллиардов научных цитат общим объёмом около 5.5ТБ. А сами данные публикуются по стандартам Sematic Web. Проект доступен со всем исходным кодом [2]. Ссылки: [1] http://opencitations.net/ [2] https://github.com/opencitations #opendata #openscience #opensource