Ivan Begtin. Страница 45
3903
@begtin
I am focused on Open Data, Procurement, e-Government, Open Government and other tech stuff
-
Ivan Begtin
Неприятная новость в том что Интернет Архив может быть заблокирован в России. Роскомсвобода пишет что Мировой суд Москвы зарегистрировал административный протокол, составленный Роскомнадзором в отношении американской организации Internet Archive из-за ее отказа удалить запрещенный в РФ контент. Дело будет рассматриваться 16 июня текущего года всё в том же 422 участке, где уже было вынесено множество штрафов в отношении Facebook, Google, Twitter, Telegram, TikTok и других интернет-компаний. [1] Будем надеяться что интернет архив останется доступен из России или нам всем придётся пользоваться VPN. Ссылки: [1] roskomsvoboda.org/post/sh…dalionku #archiveorg #internetarchive -
Ivan Begtin
Не могу не поделиться мыслями о том тяжкий груз незавершённого - это то что лично меня, и наверняка, не только меня преследует регулярно. Из 20 проектируемых проектов, до создания доходит 5, а до публикации 1-2 и так регулярно, во всяком случае когда жизнь чаще построена не в продуктовом, а в проектном смысле. За эти годы я сам и наша команда чего только не проектировала: - многочисленные порталы данных - систему сбора муниципальной статистики из всевозможных источников - систему аналитически и мониторинга некоммерческого сектора - агрегатор новостных лент из источников где нет новостных лент - систему сбора информации о деятельности и площадках работы лоббистов - систему сбора активности и голосований депутатов - мониторинг нефтегазовых доходов бюджета, компаний и тд - аналитику по государственным информационным системам и их структуре - систему сбора данных из неструктурированных источников - систему мониторинга принятых НПА и проектов НПА И ещё многое другое. Проблема в том что многие из проектов не переживает стадию проектирования и почти всегда упираются в отсутствие ключевых данных или отсутствие институциональной среды. К примеру, доходы нефтегазового бюджета и прозрачность этой сферы - это тема любой нормальной политической партии. Но, в России, как бы сейчас нет политики в общепринятом (нормальном) понимании. Или мониторинг НПА, очень понятная и нужная задача для любых лоббистких задач, не обязательно дурных. Проблема в том что её невозможно сделать хорошо без рисков вскрытия коррупции и много чего другого. И так далее. Общественные проекты на данных находятся между Сциллой резкой оппозиционности, Харибдой прогосударственной обессмысленности. Проекты вроде Госзатрат существуют скорее как исключение, с кучей ограничений, например, отсутствия реальной подсветки коррупции и нарушений, хотя делать это и возможно, но сложно управлять возникающей от этого публичной ситуацией. Приведу пример, есть проект Открытые НКО, сейчас недоступен, мы скоро его восстановим, с базой по всем НКО, на базе ЕГРЮЛ, реестра субсидий, госконтрактов и их отчетности. В реальности у нас примерно в 5-6 раз больше данных по тем же НКО. Как внешних источников данных, так и аналитики на имеющихся. Например, НКО холдинги (РПЦ, ДОСААФ и др.), гендерная структура, помощь от гос.ва во всех формах, образовательные и иные лицензии и ещё много чего. Но, в итоге, кто аудитория? Минюст с карательными функции в отношении НКО? Оппозиционные СМИ признанные инагентами? НКО сообщество? Нет, увы, главный кризис использования открытых данных в общественных целях и, отчасти это и кризис журналистики данных, выборе между политизацией и бессмысленностью (жёсткой самоцензурой). Вот такие мысли, пока без ответов что делать в сложившейся ситуации. #thoughts #datajournalism #russia #dataprojects -
Ivan Begtin
Low code добралось и до инженерии данных. Стартап Prophecy.io [1] поднял в общей сложности $38.5M за 5 раундов инвестиций создавая платформу с минимальным программированием на базе Apache Spark и Apache Airlow. Эдакий подход - антихардкор, никакой командной строки, только работа мышкой. Интересно до чего ещё докатится волна создания low-code продуктов? Ссылки: [1] https://www.prophecy.io/ #startups #dataengineering #tools -
Реклама
-
Ivan Begtin
Публикуют ли библиотеки данные? Если, да, то зачем? Британская библиотека (The British Library) опубликовала 274 набора данных [1] в основном в формате CSV и XML. Эти данные включают, например, базу диссертаций в Великобритании [2] или тексты из оцифрованных карт Африки. Эти наборы данных публикуются как часть работ исследователей библиотеки на портале The British Library's Research Repository [4] где всего размещено 1663 научных материала, включая эти наборы данных. Многие библиотеки, музеи, исследовательские центры публикуют данные как часть политики открытого доступа, либо создавая отдельные репозитории, либо на централизованных ресурсах таких как Zenodo. Ссылки: [1] https://iro.bl.uk/catalog?f%5Bresource_type_label_ssim%5D%5B%5D=Dataset&locale=en&q=&search_field=all_fields [2] bl.iro.bl.uk/concern…040d3ed5 [3] bl.iro.bl.uk/concern…89f6a441 [4] https://bl.iro.bl.uk #opendata #datasets #libraries -
Ivan Begtin
Про новость про госДатаХаб (Национальное озеро данных) [1] я напишу подробнее и тезисами. 1. Внутрикорпоративные (государственные) озёра данных, хабы данных уже существуют в нескольких регионах и органах власти (ФНС России, МЧС РФ и др). Они используются для агрегации отраслевых данных для внутренних аналитиков. 2. Корпоративные каталоги данных существуют во многих крупных холдингах, корпорациях. В основном они созданы для инвентаризации собственных данные, работы команд дата-сайентистов. 3. Национальное озеро данных - это идея, на сегодняшний день, у которой нет закрепления в какой-либо стратегии или ином концептуальном документе. Она проговаривалась непублично или не проговаривалась вовсе, не проходила обсуждения с экспертами и стейкхолдерами. 4. Идея объединения данных органов власти разумна для снижения издержек для аналитической работы, но несёт этические риски нарушения приватности даже на деперсонализированных данных. (см. Re-Identification). Именно поэтому проектирование такой системы требует вначале разработки концепции и далее уже определения пути её реализации. 5. Передача данных от бизнеса - это некоторая полу-насильственная форма изъятия данных у крупных компаний. Сейчас госорганы покупают агрегированные данные у сотовых операторов, крупных коммерческих компаний и тд. данные на коммерческих условиях. Давно идёт речь о снижении этих расходов, были разговоры о централизации закупок или что эти данные федеральная власть будет закупать для органов власти субъектов федерации. 6. Бизнесу в обмен предлагают данные которые находятся внутри государственных информационных систем и предполагается их предоставление за деньги. Не у всякого бизнеса, особенно малого и микро, будут ресурсы на покупку данных. 7. Очень велика вероятность что через госДата.хаб могут начать торговать теми данными которые сейчас открыты, аппелируя к выпадающим дохода бюджета. 8. Открытые данные - с коммерческой точки зрения, в первую очередь, предоставление данных для развития рынков, поддержки малого и среднего предпринимательства. Эта поддержка может значительно сократиться если данные будут переводить на платную основу. 9. Эти действия идут против тренда во всём мире, где коммерциализация госданных наоборот уступает подходу по их открытости. Постепенно открывают реестры недвижимости, конечных собственников, госконтрактов и тд., то что в России постепенно закрывается. Несмотря на то что текущий уровень открытости в России по многим направлениям, пока ещё, высокий. 10. Важно помнить что с точки зрения информационной безопасности, требования к которой будут только нарастать, многие данные не будут доступны вообще ни в какой форме. Ни бесплатно, ни открыто, ни платно. Потому что платность никак не защищает от их покупки вероятными геополитическими противниками. В этом смысле даже госДата.хаб не настолько плох, как полное закрытие всего и вся. 11. Проблема в непредсказуемости дальнейших действий могла бы быть решена созданием национальной стратегии работы с данными, как это сделано во многих странах. Там можно было бы определить и место национального озера данных. Но пока нет даже намёка что такую стратегию предполагается разрабатывать. 12. Увы нет ни слова кто за разработкой такого проекта стоит и кто проектирует и тд. В отрасли есть некоторое количество специалистов в работе с данными, с уклоном в данные в ИИ, или в данные в корп аналитику, но рядом с этим проектом никого из них нет. Почему так - это отдельный вопрос и касается не только отраслей работы с данными. 13. Что с этим всем делать ? Я ещё раз подчеркну что стратегия важнее тактики. То что вместо проектирования и продумывания опять "бегом-бегом", "быстро-быстро" потратить деньги на новую информационную систему - это выглядит как очередной бег на месте. Ссылки: [1] https://t.me/begtin/3854 #policy #it #government #digital #data #datastrategy Ivan Begtin На сайте Минцифры России новость про создание госДатаХаба [1]. Пока кратко, я к этому проекту никакого отношения не имею, но подозреваю кто его делает и за него отвечает. Пока лишь обращу внимание на фразу Государство будет мотивировать бизнес предоставлять обезличенные данные по отдельным направлениям, которые критически важны для системы госуправления. Это именно то что делает этот проект плохим. Потому что вначале придумают позитивную мотивацию, потом окажется что она не работает, перейдут к негативной мотивации и заставят сдавать данные, а вместо открытия новых данных, начнут переводить имеющиеся в платный режим. Чуть позже я напишу об этом подробнее. Ссылки: [1] https://digital.gov.ru/ru/events/41556/ #data #government
-
Ivan Begtin
Короткий обзор о том какие каталоги данных использовать в корпоративной среде Choosing a Data Catalog [1]. Неполный, не все решения и не все ситуации охватывает, не все кейсы применения, но полезный обозначая разницу между открытыми, закрытыми и иными решениями. В ту же тему Open Data Discovery Specification: A Universal Standard for Metadata Collection [2] обзор стандарта описания метаданных в базах данных. Ссылки: [1] sarahsnewsletter.substack.com/p/choos…-catalog [2] medium.com/opendat…5061112c #opendata #data #datatools #readings -
Ivan Begtin
Я всё хотел написать про ГИС "Экономика" которую Минэкономразвития РФ заказывает за 269 млн руб., конкурс объявлен ещё в апреле, сейчас сопоставляются заявки [1]. Кому-то может показаться что большие деньги, большая система, интересная задача. Кому-то что деньги потрачены ни на что и всё заранее поделено или заранее бессмысленно. Я же отмечу те "нюансы" которые я вижу из чтения ТЗ и не только. 1. Это ТЗ на разработку аналитической системы, по сути и по описанию ближе всего к BI системе с особенностями восприятия и специфики понимания таких систем органами власти. 2. Есть как минимум две, а реально больше крупные ГИС с пересекающимися функциями. Это ГАС Управление и ЦАП (Цифровая аналитическая платформа) Росстата. Первая система существует давно и как раз проектировалась примерно в тех же целях что сейчас создаётся ГИС Экономика. Вторая всё ещё не запущено, публичных результатов пока нет. Почему не развивается одна из этих систем и создаётся новая - вот в чём вопрос. 3. Разработка систем подобного уровня должно, вначале, предварятся разработкой технического задания. ТЗ приложенное к конкурсу не выглядит как разработанное, в принципе, из ТЗ не ясно кто его автор, не ясна практика использования и тд. 4. В ГИС Экономика хотят перенести внутренние системы Минэкономразвития РФ, используется термин "инфраструктура системы". Например, туда собираются перенести систему управления проектами Минэкономразвития. 5. В ТЗ есть ссылки на документы которые невозможно найти в открытом доступе. Например, из текста "Подсистема управления корпоративной шиной обмена данными создана при исполнении государственного контракта от 09.10.2020 №ГК-105-АМ/Д34."․ Это внутренний номер госконтракта у Минэка, по нему невозможно найти его на сайте госзакупок, а в эту дату такого контракта точно у Минэка не было. Секретный контракт? Сумма меньше сумму запроса котировок? Недостоверная информация в ТЗ? Вопросов много Если внимательно изучать ТЗ, то там есть много такого к чему будет много вопросов. Но ключевое другое, ключевое то что работы по созданию таких систем состоят из довольно понятных крупных задач: 1. Разработка методологии - проведение одного или более НИР, определение задач, источников данных, типов показателей и тд., а по результатам разработка ТЗ. 2. Создание/выбор платформы - платформы для аналитики более универсальны или недостаточно готовы, но в любом случае почти никогда не делаются с нуля. 3. Сбор/приобретение данных - это, на самом деле, одна из сложнейших задач, как сформировать показатели на доступных данных и как получить данные которых сейчас может не быть 4. Построение аналитических панелей на основе методологии, платформы и данных. Важно то что при разумном планировании каждая из этих задач - отчуждаема и задачи эти делают разные люди в параллельно или последовательно. Ситуация с этим ТЗ такова что методологии за ним нет, приобретение данных описано невероятно скромно, только данные Роспатента, ФНС и Казначейства. Аналитические панели описаны без какого-либо пользовательского опыта, наборами функций. Выводы у меня удручающие. Даже если там нет коррупции, то качество проектирования такое что смысл и назначение этой системы совершенно непонятны и, самое главное, к пониманию состояния экономики страны никого из нас не приблизит. Скорее станет именем нарицательным. - Как там у нас с экономикой, также как с ГИС "Экономика", никак. (с) - Какая Экономика такая экономика (с) Ссылки: [1] zakupki.gov.ru/epz/ord…nfo.html #government #russia #economy #it -
Ivan Begtin
Полезное чтение про работу с данными: - Введение в NoSQL базы данных [1], в основном графовые базы - Have you tried rubbing a database on it? [2] выступления о том как решать знакомые задачи через данные, некоторые идеи могут показаться странными и дикими, а кое что очень интересно. - Beyond ELT: What Is a DataOps OS? [3] про DataOps от команды Meltano, вводный текст для незнакомых с понятием - Review of Prefect for Data Engineers [4] сравнение Prefect и Dagster для обработки данных, автор отдает предпочтение Prefect. - MLOps in 10 Minutes [5] для тех кто хочет погрузится в тему подготовки данных для data science. Подойдет дата-инженерам и дата-сайентистам и специалистам по ML Ссылки: [1] towardsdatascience.com/introdu…feac7a36 [2] https://www.hytradboi.com/?42 [3] thenewstack.io/beyond-…taops-os [4] www.confessionsofadataguy.com/review-…ngineers [5] datatalks.club/blog/ml…tes.html #data #readings -
Ivan Begtin
Официальные цифры по выезду россиян по странам по всем целям поездки. Предпоследняя колонка сравнение выезда 1кв 2019 года (последнего допандемийного) и 1кв 2022 года, это по март включительно. Куда резкий всплеск поездок: - Сейшелы 15994% (7564 в 1кв2022г. и 47 в 1кв2019г.). - Саудовская Аравия - Египет Можно обратить внимание что цифры отъезда в Армению только на 28% более чем в 1кв 2019 г. И так далее, каждый может найти нужные цифры самостоятельно из файла что я ранее публиковал на канале. Напомню что это официальная статистика, она достоверна настолько насколько Вы доверяете тем кто её публикует. #opendata #data #dataviz 
-
Ivan Begtin
Специально для тех кто читает СМИ и телеграм каналы с цифрами уехавших из России, не читайте, считайте сами. В файле indicator_38480.xls статистика выезда поквартально с 1кв 2013 года по 1кв 2022 г. включительно. Первоисточник ЕМИСС, индикатор Выезд граждан России [1]. Также многим будет интересен индикатор Въезд иностранных граждан в РФ [2] Обратите внимание на формулировки, эти индикаторы не охватывают выезд иностранных граждан и въезд граждан РФ соответственно. Вот такие искажения в российской статистике. Сопоставлять и визуализировать, я уверен, все умеют сами. Ссылки: [1] https://www.fedstat.ru/indicator/38480 [2] https://www.fedstat.ru/indicator/38479 #opendata #data #statistics -
Ivan Begtin
По поводу Указа Президента РФ N250 от 1 мая [1] с перечнем мер по информационной безопасности мне, конечно, тоже есть что сказать. Во первых рынок инфобеза сейчас будет самый быстро растущий во всём ИТ секторе, даже маленькие ИТ компании в этой области будут иметь свой большой кусок хлеба. В этой отрасли сейчас, конечно, праздник без ярких положительных эмоций. Во вторых, конечно, ИТ специалистов в этой области, ожидаемо, будет острый дефицит. Я даже не представляю себе (конечно представляю в каком органе власти) где наберут, например, замов руководителя по информационной безопасности. Более вероятный сценарий массового обучения текущих замов по чему-то там курсам по инфобезу. Будет как в анекдоте - "ещё и на голову фонарь повесят чтобы ночью косить (c)". Так и здесь, был зам по хоз части, а будет ещё и с функциями зама по инфобезу. К крупнейшим, конечно, будут прикомандированные сотрудники. В третьих стоит ожидать перестройки всех бюджетов всех уровней начиная с федерального с расширением расходов на инфобез. За счёт бюджетов информатизации/автоматизации/цифровизации, конечно же. Поскольку расходы на цифровизацию были и с ощущением распила в некоторых случаях, но всё же бюджетом развития, то расходы на инфобез к развитию никакого отношения иметь не будут, только к ограничениям. В четвертых я лично предсказываю в этом году начало тотальной инвентаризации государственных и муниципальных информационных систем именно с точки зрения инфобеза. Проблема в том что делать это некому, ни ФСТЭК, ни ФСБ, ни их подведы сами по себе это не потянут. Более вероятен сценарий поручения Пр-ва или Пр-та, на фед уровне Минцифра с розыгрышем крупного контракта, а на рег. уровне областные и республиканские администрации. Скорость этого будет напрямую зависеть от числа публичных взломов госинформсистем. Пока их было сильно меньше чем могло бы быть, либо мы о них не знаем, а они были, либо мы о них знаем, но всё равно публично все говорят что не знаем, не было, даже если было. В любом случае пока ярко светились только утечки и взломы только нескольких коммерческих провайдеров. В пятых, явно будет какая-то большая административная реорганизация в этой области. Будут ли это новые полномочия у Минцифры, или новое супер-крупное-министерство информационной безопасности или ещё что-то и как-то, но это та область где критическая масса запроса на внутригосударственную реформу назревает. Я бы осторожно предположил появление в России новой спецслужбы по аналогии с NSA в которую перейдут многие полномочия. Но именно что осторожно, потому что не все ещё события предшествующие этому произошли и, в принципе, назрела новая адм. реформа Пр-ва. В шестых, что-то мало новостей про Гостех. Живо оно ещё? Если да, то в нормативке почти не всплывает, хотя в нормативке по инфобезу оно должно было бы быть, а если нет, то хоть похороните официально и с почестями. Больше похоже что Гостех локализуют в виде нескольких информационных систем. Ссылки: [1] publication.pravo.gov.ru/Documen…05010023 #policy #russia #it #security #regulation -
Ivan Begtin
Я как-то уже писал что в планах есть выложить ETL движок используемый в datacrafter'е. Это подзатянулось поскольку не так много людей сейчас у нас в команде заняты именно этим проектом, ETL движок я могу отнести к собственным pet проектам. Его основная идея - это реализация ETL в связке с наиболее используемыми в России форматами открытых (и иных) данных. Это XML, CSV, JSON, JSONlines, в том числе случаи когда они в архивах, условно любого размера и с поддержкой NoSQL из коробки. Из-за этого NoSQL из коробки этот движок невозможно было реализовать на базе чего-то ещё вроде Meltano или Dagster․ Но готовность к отчуждаемости я, конечно, переоценил, доведение внутреннего кода до открытой промышленной платформы требует времени. А вот так выглядит пример конфигурационного файла обработки одного из наборов данных ФНС РФ. В первоисточнике данные лежат в XML файлах внутри ZIP и обработчик умеет делает непрерывную итерацию по записям с переключением файлов внутри архива. #opensource #opendata 
-
Ivan Begtin
Всё тот же федеральный портал открытых данных работает, по прежнему, нестабильно. Страницы наборов данных открываются довольно медленно, но дело не только в этом. Куда-то начисто исчезла вся статистика посещения [1] и не только. Ссылки: [1] https://data.gov.ru/site-usage #opendata #russia #economygovru 
-
Ivan Begtin
Для тех кто интересуется инструментами работы с данными в командной строке, ещё один полезный инструмент trdsql [1]. Утилита написанная на Go позволяет делать SQL запросы к файлам в формате CSV, LTSV, JSON иTBLN. Удивительно что в этом списке нет JSON lines, но в целом утилита выглядит весьма неплохо и полезна для всех кто постоянно работает с файлами и не грузит их в одну из SQL СУБД, но синтаксис SQL любит и знает. Из интересного - утилита умеет анализировать данные и выдавать рекомендации по запросам. Ссылки: [1] https://github.com/noborus/trdsql #datatools #commandline -
Ivan Begtin
Mozilla опубликовали результаты анализа десятков мобильных приложений используемых для поддержания душевного здоровья [1], результаты неутешительные, большая их часть нарушает приватность, следит и продаёт данные. Многие, также, используют ИИ и не рассказывают делается ли это этично или нет․ Например, популярное в России приложение Calm совсем не безвредно [2]. Ну и методология анализ вцелом вполне полезная, но трудоёмкая. Ссылки: [1] foundation.mozilla.org/en/priv…lth-apps [2] foundation.mozilla.org/en/priv…ded/calm #privacy #mobileapps -
Реклама
-
Ivan Begtin
В MIT Technology Review статья о том что Meta (ранее - Facebook) создали новую языковую модель для того чтобы обойти недостатки GPT-3 [1]․ Она называется OPT-175B и уже есть некоторые подробности о её содержании[2]. 175 в названии - это 175 миллиардов параметров, а раскрытие модели - это интересный шаг. Meta, как критикуют, так и ставят в пример. Действительно вокруг их работы есть много этических аспектов, но сам шаг публикации такой модели крайне интересен. Ссылки: [1] www.technologyreview.com/2022/05…sparency [2] ai.facebook.com/blog/de…opt-175b #opendata #ai #ml #languagemodels -
Ivan Begtin
Я обещал написать подробнее по поводу проекта постановления Правительства Российской Федерации о сокрытии сведений из ЕГРЮЛ и бух. балансов [1] Если коротко - это плохое решение в плохой ситуации. Проверка контрагентов в России и в мире - это часть задач по обеспечению должной осмотрительности и процедур KYC (Know-your-customer) и антикоррупционных проверок и ещё много чего. Даже если из 3.2 миллионов юр лиц будут удалены сведения лишь о 10к (а скорее больше), то надо помнить что это наиболее экономически активные юридические лица. Сокрытие информации приведет к следующему: 1. Зарубежные компании будут отказываться от работы с российскими юр. лицами поскольку не могут проверить контрагентов. 2. Отсутствие сведений об учредителях будет пометкой что компанией владеет подсанкционное юр лицо или это подсанкционное юрлицо. "Спасибо" (на самом деле нет) Минфину за такое. Поэтому это плохое решение. Ссылки: [1] https://regulation.gov.ru/projects#npa=127206 #opendata #data #government #egrul 
-
Ivan Begtin
Интересные продукты для работы с данными и не только - PostgresML [1] реализация системы машинного обучения внутри Postgres, только через SQL. Для настоящих фанатов Postgres - PyScript [2] реализация языка Python на Javascript - HARI - The First Annotation And Dataset Analytics Platform [3] - интересный коммерческий продукт для визуализации и анализа алгоритмов распознвания видео. К сожалению описания маловато - tinypandas [4] для тех кто привык к pandas, но хочет инструмент попроще. Не знаю кому такое может пригодится, но вдруг - Metabase 0.43 [5] новая версия Metabase, самое интересное, на мой взгляд, поддержка JSON записей в Postgres, но много чего другого тоже есть - Reconcilation [6] инструмент для создания сервисов обогащения данных для OpenRefine, написан на Python + Flask. Нужен для тех кто пользуется OpenRefine и хочет его расширять - Squirel [7] свежая ETL на базе Python позиционируемая как инструмент для ML. Ссылки: [1] https://postgresml.org/ [2] https://pyscript.net/ [3] https://www.quality-match.com/hari [4] talegari.github.io/tidypan…dex.html [5] github.com/metabas…/v0.43.0 [6] https://github.com/preftech/reconciliation [7] https://squirrel-core.readthedocs.io/en/latest/ #opensource #tools #datatools