Ivan Begtin. Страница 41
3903
@begtin
I am focused on Open Data, Procurement, e-Government, Open Government and other tech stuff
-
Ivan Begtin
В рубрике интересных инструментов с открытым кодом для работы с данными: - sowego [1] утилита и библиотека для Python по линковке больших каталогов данных с Wikidata - vector [2] ETL от Datadog по созданию труб данных для работы с логами и метриками. - RecordLinkage [3] библиотека для Python по связыванию похожих структур - Inception [4] инструмент/платформа для семантического аннотирования текстов - Dedupe [5] ещё один инструмент для избавления дубликатов в Python - Streamlit [6] платформа по быстрому развертыванию дата приложений на Python. - Bdbag [7] инструмент работы со стандартом научных данных BagIT и большими данными - schema.data.gouv.fr [8] исходный код французского правительственного репозитория схем [9]․ Все схемы в JSON, с документацией, отслеживанием изменений и тд. Очень редкий для гос-ва системный подход - NoProto [10] ещё один стандарт сериализации данных, с поддержкой схем, сортировкой и другими фичами. К нему же референсные реализации на JS и Rust - Confluent Schema Registry [11] реестр схем данных для Kafka, на базе JSON Schema - Records [12] библиотека для Python для удобной работы с SQL, поддерживает только SQL СУБД. - Miraql [13] удобный визуализатор API и схем Graphql Ссылки: [1] https://github.com/Wikidata/soweego [2] https://github.com/vectordotdev/vector [3] https://github.com/J535D165/recordlinkage [4] https://github.com/inception-project/inception [5] https://github.com/dedupeio/dedupe [6] https://github.com/streamlit/streamlit [7] https://github.com/fair-research/bdbag [8] https://github.com/etalab/schema.data.gouv.fr [9] https://schema.data.gouv.fr [10] https://github.com/only-cliches/NoProto [11] https://github.com/confluentinc/schema-registry [12] https://github.com/kennethreitz/records [13] https://github.com/oslabs-beta/miraql #datatools #data #opensource -
Ivan Begtin
В рубрике интересных наборов данных база стоимости услуг госпиталей в США [1] размещённая на платформе Dolthub. Особенность в том что Dolthub организуют регулярные конкурсы краудсорсингового сбора данных и эта база данных также собирается волонтерами которым за это ещё и существенно платят, нельзя сказать что копейки, общий бюджет на создание такого набора данных - $15 тысяч и в списке лидеров есть те кто заработал уже более $5 тысяч. Dolthub позиционируют себя как Git для данных и у них, действительно, хороший продукт с интересными возможностями. Но вот свой потенциал в части организации таких конкурсов они недооценивают. По моему скромному мнению рано или поздно их купит один из крупных международных big tech холдингов вроде MS, IBM, Oracle, Google, Amazon или кто-то вроде и поставят такие конкурсы на поток совместно с инициативами Data4Good и другими гуманитарными проектами связанными с работой с данными. Ссылки: [1] www.dolthub.com/reposit…rency-v3 #opendata #dolthub #dataplatforms #datasets -
Ivan Begtin
IBM ушёл из России, но сервера и ПО IBM госзаказчики покупать не перестали. Свежий контракт на 800 млн. руб. подведа Федерального Казначейства (ФКУ ЦОКР) с ООО "Интегрейтед Сервисес Групп" [1] на поставку серверов и комплектующих. Сервера, вроде как, декларируются как российские сервера Аквариус, а в списке аппаратного обеспечения сплошняком оборудование и программное обеспечение IBM, вроде IBM AIX Enterprise Edition. Так может IBM ещё не ушёл из России или ушёл только номинально? Ссылки: [1] https://zakupki.gov.ru/epz/contract/contractCard/common-info.html?reestrNumber=1770989550922002235&contractInfoId=73395724 #government #procurement 
-
Реклама
-
Ivan Begtin
Я выложил в открытый код очередной компонент нашей платформы по публикации данных APICrafter с таким же названием apicrafter это инструмент/утилита/библиотека кода по автоматическому созданию API поверх NoSQL СУБД, сейчас это MongoDB. Внутри используется REST API фреймворк Python Eve, а сам движок предполагает создание только read-only API, для публикации и раскрытия данных. Его особенности: - автоматическое обнаружение таблиц и генерация схем данных для MongoDB - все настройки через файлы YAML - управление API в проектном режиме, для каждого проекта создаётся отдельный проект. Основной сценарий использования - это когда Вы не хотите детально моделировать данные которые у Вас есть в наличии, но Вам необходимо кому-то их предоставить или использовать для интеграции систем. Тогда данные закидываются в MongoDB как есть и с помощью этой утилиты создаётся API. Скажу сразу сейчас это упрощённая утилита, не отрабатывающая сложных сценариев, без уникальных урлов каждого объекта и тд., необходимая именно для того чтобы быстро выставить наружу API к какой-либо базе данных Всё это отдельные внутренние части каталога данных DataCrafter (datacrafter.ru). Изначально она была сделана по монолитному режиму и в последний год я её разбирал и выкладывал по компонентам: - metacrafter - идентификация семантических типов данных - datacrafter - ETL для работы с большими батчами (как правило в открытых данных) - apicrafter - фреймворк для создания API поверх MongoDB Следующая версия каталога уже будет иметь какое-то другое название и собираться из этих компонентов почти по новой. #opendata #data #opensource #datatools #apicrafter #datacrafter -
Ivan Begtin
Свежее чтение про данные: - Make a data engineer cry with just 4 words [1] очень смешной тред в твиттере, многое напоминает истории с открытыми данными. А варианты вроде Dataset stored in PowerPoint прекрасны и это тоже из жизни - The Death of Data Modeling - Pt. 1 [2] о том что процесс моделирования данных требует перезапуска - Data Mesh: Topologies and domain granularity [3] о гранулярности в проектах Data Mesh. Взгляд скорее сверху, чем от живых примеров, но для общего понимания полезно - We should phase the "SQL Interview" out [4] о том почему интервью разработчиков с тестированием знания SQL бессмысленны и надо чтобы они понимали природу данных и умели бы работать разными инструментами - Duo, the Push, and the Bandits [5] о том как устроена мотивационная система в Duolingo и о их технической архитектуре - HTREC 2022 [6] конкурс по распознаванию греческих и византийских текстов на папирусе. Приз скромный - трэвел грант поездки в Венецию, но сама задача сложная и интересная. Участвовать можно почти из любой страны Ссылки: [1] twitter.com/AdiPola…62660352 [2] dataproducts.substack.com/p/the-d…ing-pt-1 [3] towardsdatascience.com/data-me…0a4ebb90 [4] counting.substack.com/p/we-sh…nterview [5] vicki.substack.com/p/duo-t…-bandits [6] https://www.aicrowd.com/challenges/htrec-2022 #reading #news #data #ai -
Ivan Begtin
Сейчас в разных, в основном в помоечных, телеграм каналах пишут о том что часть физ. лиц инагентов были признаными такими из-за работы с Republic и Эхо Москвы. Я не могу не вспомнить и напомнить что кроме того что я тут пишу про технологии и, всё таки, первично ИТшник, но я довольно много чего писал и пишу публицистического про технологии. Мои колонки есть в РБК [1], российском Forbes [2], Ведомостях [3], Полит.ру [4] и ещё много где, включая Republic [5]․ Так что если и меня надумают включать в инагенты, то далеко ходить не надо, вот оно. Ссылки: [1] https://www.rbc.ru/persons/begtin.shtml [2] https://www.forbes.ru/person/327221-begtin-ivan [3] https://www.vedomosti.ru/authors/ivan-begtin [4] https://polit.ru/author/289686/ [5] https://republic.ru/authors/100519 #russia -
Ivan Begtin
Не могу не повторить что очень хотелось бы комментировать что-то более позитивное, но приходится комментировать СМИ разное. Например, Forbes [1] про оценку уехавших ИТшников и РБК про инициативу цифровых платформ получить ИТ льготы [2]. Но в целом я хочу повторить два важных тезиса: 1. Токсичный оптимизм - не только раздражает, но и ощущение что "правительство на другой планете живёт, родной" (с) Кин-дза-дза 2. После того как закончится острый период кризиса, я напомню что правоохранители и налоговики 100% начнут рыть под всех кто получил льготы и с хоть малейшей вероятностью им не соответствует. Ссылки: [1] www.forbes.ru/tekhnol…tisnikov [2] www.rbc.ru/technol…2474d15d #it #russia 
-
Ivan Begtin
На Cnews феноменальная по кликбейтовости и отсутствию проработки очередная публикация про то что Ростех ещё в марте писал в Минцифру идеи по расширению ИТ льгот и компенсации ИТ-шникам половины аренды, с общим завершением статьи что мол неизвестно чем всё это закончилось. Ссылку на Cnews я давать не буду. Так вот, чем это закончилось вполне известно, со 2 марта по 20 апреля 2022 года в реестр аккредитованных ИТ компаний было включено 17 юридических лиц относящихся к ГК Ростех. АО "РТ-ПРОЕКТНЫЕ ТЕХНОЛОГИИ" АКЦИОНЕРНОЕ ОБЩЕСТВО "ЦЕНТР СУПЕРКОМПЬЮТЕРНОГО МОДЕЛИРОВАНИЯ" АО "НИИ "РУБИН" ООО "МАСТЕРСКАЯ СИСТЕМ" ООО "РТ-ИНФОРМ" ООО "СПЕКТР" АО "СИП РС" АО "ИНФОРМАКУСТИКА" АО "ПО "ЭЛЕКТРОПРИБОР" АО "КОНЦЕРН "АВТОМАТИКА" ООО "НТ" АО "ПНИЭИ" АО "ЦНИИАГ" ООО "РТ-ЦТ" АО "КНИРТИ" АО "РАДИОЗАВОД" АО "НИИМА "ПРОГРЕСС" АО "КОМПАНИЯ "СУХОЙ" Источник - Cписок аккредитованных организаций։ digital.gov.ru/ru/acti…rvices/1 Всё это общедоступные сведения и журналисты CNews, даже при небольшом желании, могли бы и сами это узнать. И, конечно же, большая часть этих компаний, конечно, же никакого отношения к ИТ отрасли не имеют. #russia #datasets #registry #it -
Ivan Begtin
В рубрике интересных наборов данных инициатива Microsoft Data for Society [1] по публикации открытых данных необходимых для решения наиболее значимых проблем общества. Данных там много, какие-то создаются компанией и раскрываются на Github, например, Solar farms mapping in India [2], другие создаются в партнерских лабораториях, например, HKH glacier mapping [3], но все вместе их можно рассматривать одновременно и как научную инициативу по открытому доступу и как модель корпоративной социальной ответственности. Там же много ссылок на другие их инициативы в области развития общества через данные и ИИ. Сейчас это крупнейшая подобная корпоративная инициатива в мире, по масштабам она превосходит раскрытие данных многими городами и странами. Ссылки: [1] www.microsoft.com/en-us/a…-society [2] https://github.com/microsoft/solar-farms-mapping [3] lila.science/dataset…-mapping #opendata #ai #datasets #microsoft #corporateresponsibility -
Ivan Begtin
Многие научные журналы в мире требуют от учёных публиковать вместе со статьями так называемый DAS (Data availability statement), заявление о доступности данных. Оно включает, или ссылку на открытые опубликованные данные, или объявление о доступности данных по запросу. Группа исследователей провела анализ того как такие заявления публиковались в ряде медицинских журналов и написали статью о том что DAS, фактически, не работает Many researchers were not compliant with their published data sharing statement: mixed-methods study[1] Они запрашивали данные у тех кто размещал DAS с объявление о доступности данных по запросу и тех кто это не делал и в обоих случаях на их запросы получить данные реагировало не более 7% учёных. Фактически можно говорить о том что многие ученые к подходят к заявлениям о готовности предоставить данные очень формально, не будучи к этому фактически готовыми. У Sergio Uribe [2] из Балтийского биомедицинского центра в большой серии твитов подборка примеров декларируемой доступности и фактической недоступности данных и как один из сценариев решения - чтобы журналы требовали обязательного раскрытия информации и осуществляли за этим контроль, не принимая статьи без FAIR Data. Ссылки: [1] www.jclinepi.com/article…fulltext [2] https://twitter.com/sergiouribe #opendata #openaccess -
Ivan Begtin
Если Вам кажется что всё плохо в России и то что "дно ещё не нащупано", всегда полезно оглядываться на тех кто глубже. В UN OCHA (Управлениտ ООН по правам человека) заметка с критикой экспертами ООН в адрес цифровой диктатуры в Мьянме где не только заблокировали соцсети, но и 31 городе отключали интернет и 23городах сильно его замедляли. В основном в городах с особо сильной критикой военной хунты. А сейчас там рассматривают законопроект о кибербезопасности по которому можно блокировать любой сайт без суда, а за использование VPN дают до 3 лет тюрьмы. Ссылки: [1] www.ohchr.org/en/pres…atorship #internet #privacy #freedom -
Ivan Begtin
Лето в цифре: чем Школа киберправа снова готова привлечь бизнес? Бизнесу в нынешней ситуации приходится тяжело: санкции, постоянно меняющееся законодательство, риск попасть под блокировку сайта и потерять на этом деньги, вопросы защиты товарных знаков и брендов и многое, многое другое. А если ваш бизнес связан с IT, криптой или авторскими правами — то без знания юридических тонкостей современной “цифры” и вовсе не обойтись. Даже в том случае, если у вас есть юридическое образование или профессия. Приглашаем всех предпринимателей, IT-стартаперов и юристов, так или иначе связанных с цифровым миром, высокими технологиями и новыми финансовыми активами, на новый запуск Школы киберправа — с 20 по 24 июня в Москве. Посетив его, вы сможете избежать многих подводных камней по организации и ведению бизнеса “с цифровым лицом”, а также увеличить свою прибыль, невзирая на непростые времена! На протяжении пяти дней наши опытные практикующие эксперты и тренеры в онлайн- и оффлайн режиме разберут действующее законодательство и лучшие бизнес-кейсы в рамках семи специализированных модулей: 1.Big Data & AI 2.Digital assets & crypto/blockchain 3.Tax & Ad 4.Intermediaries & ISP 5.Forensic & Digital evidence 6.IP & Copyright & Domains 7. Privacy & Security Хотите попасть в число счастливых слушателей? Тогда успевайте зарегистрироваться — ведь старт Школы намечен уже на 20 июня, а количество мест ограничено! Регистрируйтесь по ссылке: l='noreferrer nofollow' href='https://clck.ru/arSfJ'>https://clck.ru/arSfJ 
-
Ivan Begtin
Для тех кто интересуется тем что такое Modern Data Stack [1] у вики сервиса дата каталога Castor собрана большая подборка технологий / стека данных используемых многими компаниями и стартапами такими как Coca-Cola, Airbnb, Amazon, Canva, Uber и другие. Стартапы чаще рассказывают о своих технологиях чтобы привлечь инженеров к решению интересных задач используя современные технологии, так что стартапов там будет больше. Другой интересный источник того чтобы понимать какие технологии в компаниях используются - это сервис StackShare [2] где разработчики/команды делятся впечатлениями от использования сервисов и программных продуктов и там же описаны многие технологические стеки стартапов, компаний, проектов и не только в части данных. Например, стек образовательного сервиса Udemy [3]․ И, наконец, сайт Modern Data Stack [4] с каталогом именно современных стеков данных разных компаний. Здесь всё расписано по группам продуктов и сфокусировано только на данных. Стеков описано меньше, зато фокус чётче. К примеру, стек данных LinkedIn [5] Конечно, воспроизводить один в один чужой стек данных - занятие довольно бессмысленное, у большинства нетиповых компаний нетиповые потребности и свой технический долг под который собирает стек данных. Но регулярно изучать что делают компании на рынке схожего с Вашей бизнес моделью и размером - всегда полезно. Ссылки: [1] castordoc.notion.site/15b14f3…ffaeef07 [2] https://stackshare.io [3] https://stackshare.io/udemy/udemy [4] https://www.moderndatastack.xyz [5] https://www.moderndatastack.xyz/stacks/linkedin #moderndatastack #datatools -
Ivan Begtin
Тем временем в Японии специалисты NICT разработали и создали технологию передачи данных со скоростью в 1.02 Петабита в секунду [1] по кабелю длиной 51.7 километра. Авторы исследования и ранее немало добились в экспериментах по передаче данных, даже интересно когда такие скорости доберутся до потребителей. Ссылки: [1] www.sciencealert.com/researc…on-speed #tech -
Ivan Begtin
Многим не нравится то как пишутся законы и другие регулирующие документы, немногие готовы это принципиально, иногда радикально, менять. В Великобритании команда Policy Lab выпустила серию из 12 карт [1] экспериментальных подходов к разработке госполитики. Там есть, например: - сверхпредсказания - серьёзные игры - нормативный театр - вовлечение через метаверс - цифровые двойники - бодисторминг - моральные представления - децентрализованные автономные системы - искусство в госполитике - гражданские собрания - регенеративный дизайн Там же у них разные интересные примеры того как это применяется на практике. В чистом виде цифровых инструментов там немного, а вот многие подходы действительно весьма необычны. Ссылки: [1] openpolicy.blog.gov.uk/2022/05…-methods #government #policymaking #policy 
-
Реклама
-
Ivan Begtin
Проголосовал 301 человек и результаты скорее удручающие. При том что 27% считают это безусловно неприемлемым, но 35% (17+18) допускают подобное при определенных условиях или даже без них. 
-
Ivan Begtin
На сервисе BGPView созданном компанией SecurityTrails исчезли все сведения о подсетях и автономных системах относящимся к России. На странице страны [1] теперь список отсутствует, хотя он есть для других стран: Бразилии, Польши и др. [2] [3] С чем это связано непонятно. Может быть чтобы мешать украинским хакерам находить российские подсети, может быть чтобы мешать российским безопасникам знать как фильтровать трафик с не-российских подсетей. Но факт остаётся фактом, именно российские подсети там теперь отсутствуют. Ссылки: [1] https://bgpview.io/reports/countries/RU [2] https://bgpview.io/reports/countries/BR [3] https://bgpview.io/reports/countries/PL #opendata #security #infrastructure #telecom -
Ivan Begtin
На vc.ru статья [1] про инициативу конкретного человека по сбору списка сотрудников компании NTechLab и, по сути, применения к ним культуры отмены. Для тех кто не знает, NTechLab - это российская компания разработчик технологии распознавания по лицам. Технологии мирового уровня по многим измерениям, оценкам и практике применения. Лично я, мягко говоря, против культуры отмены. Персонифицированные бойкоты слишком похожи на самосуд, даже при плохой правоохранительной системе, они, в основном, создают поддерживают атмосферу общего ожесточения. Но сейчас хочу сказать не об этом. В технологических компаниях очень многие и слишком часто забывают про то что многие технологии имеют двойное назначение. В каких-то областях это давно знают, есть ограничения таких как Вассенаарских соглашения [2], иногда спорно применяемых к технологиям сильного шифрования, но тем не менее. Так вот дело в том что во многих технологиях уже невозможно говорить о благих намерениях или говорить о непонимании того как Ваша технология будет применяться на практике. Разработчики безусловно отвечают за применение их технологии и должны уметь отвечать на вопросы: 1. Можно ли с помощью технологии нарушать права граждан? 2. Можно ли с помощью технологии усилить нарушение прав граждан? 3. Какие меры разработчик предпринимает чтобы снизить последствия такого применения? и ещё многие другие. Технологии распознавания лиц, силуэтов, походки, или технологии глубокого перехвата трафика и ещё многие безусловно относятся как таким технологиям двойного назначения. И везде где возможно в мире внедрению таких технологий препятствуют общественные организации, политики, учёные и отдельные активисты. Есть много примеров такого сопротивления. Сотрудники Гугл активно протестовали против разработки ПО для военных. Соцсети под давлением общественного мнения заблокировали ПО Geofeedia использовавшееся для мониторинга протестов полицейскими в США, а в отношении компании NetSweeper продающей ПО для фильтрации интернета было полномасштабное расследование [3] со стороны НКО Citizenlab в 2018 году. Меры общественного сопротивления таким технологиям в мире включали: общественные кампании, публикации в СМИ, призывы правительствам стран проводить расследования, протесты при внедрении таких систем, письма сотрудникам с призывом увольняться и многое другое. Но нигде не было призывов составлять списки всех сотрудников компании и применять к ним культуру отмены (читаем правильно - применять санкции и устраивать самосуд). При том что я лично понимаю насколько все легальные меры воздействия на подобные компании в России и ряде других стран сейчас ограничены, но очень важно помнить что покраска мира в черно-белый цвет очень редко достигает своих целей. Для меня всё это выглядит как часть очень неприятного для мира изменения - радикализация инженеров. Главное отличие профессионального инженера в способности нанести гораздо больший вред окружающему обществу при желании. Технологии, в принципе, за последние годы в направлении усиления малых команд и одиночек. Ни один террорист-смертник не мог ранее нанести столько вреда как очень мотивированный инженер сейчас. Возможно пользы тоже, но вред первичен. Возвращаясь к ситуации с NTechLab. Методы культуры отмены против сотрудников которые сейчас против них применяют, безусловно, мне не нравятся, но и компания безусловно пошла по пути когда их технологии специально заточены под технологии массовой слежки. Вопрос лишь кто может оказаться следующим на рынке нарушения приватности? Ссылки: [1] vc.ru/service…mitingov [2] https://ru.wikipedia.org/wiki/Вассенаарские_соглашения [3] https://citizenlab.ca/2018/04/planet-netsweeper/ #privacy #security #biometrics #facerecognition