Ivan Begtin. Страница 26
3903
@begtin
I am focused on Open Data, Procurement, e-Government, Open Government and other tech stuff
-
Ivan Begtin
Если Вы ещё думаете какой язык программирования изучать, то вот маленькая подсказка в виде графика популярности языков программирования для data science из доклада State of data science проведенного KDNuggets в 2021 году и картинка отметок применимости языков программирования для разного рода задач связанных с данными. Во втором случае, ИМХО, не вполне корректно про Rust и Go, для этих языков сейчас много что написано расширяющего возможности работы с данными, но в остальном похоже на правду. А также, в добавок и для разноообразия источник этих материалов и текст с рассуждением на испанском языке на портале открытых данных Испании [1] (не всё же англоязычные тексты постить, в самом деле). Ссылки: [1] datos.gob.es/es/blog…de-datos #data 
-
Ivan Begtin
В рубрике интересных наборов данных Bible geocoding data [1] набор данных по геокодированию мест упомянутых в библии. Автор занимался этим с 2007 года и в прошлом году существенно обновил предыдущую работу. О самой инициативе и данные для Google Earth в формате KMZ есть на его сайте [2] и там же у него на сайте OpenBible разного рода эксперименты по визуализации [3]. Из весьма интересного - это AI-Assisted Bible Study [4] суммаризатор ответов и вопросов по главам библии через использование ИИ. В данном случае библия важный пример, но сам подход ей не ограничивается. Один из путей/способов развития цифровой гуманитаристики - это подходы "всё-код" и "всё-данные". Любое художественное, религиозное или документальное произведение можно рассматривать как базу данных. Можно, например, геокодировать "Войну и мир", превращать в граф знаний "Властелин колец" и остальные произведения Толкиена, проводить интерактивную реконструкцию исторических событий. О многих подобных проектах я пишу время от времени [5]. Важное отличие современных проектов в этой области - это открытость данных и кода. Открытые проекты позволяют создавать новые проекты/продукты/исследования на их основе. Ссылки: [1] github.com/openbib…ing-Data [2] https://www.openbible.info/geo/ [3] https://www.openbible.info/labs/ [4] https://www.openbible.info/labs/ai-bible-study/ [5] https://t.me/begtin/4147 #datasets #opensource #opendata #digitalhumanities 
-
Ivan Begtin
На РБК вышла статья с комментариями участников рынка про отъезд ИТ специалистов [1], там есть и мои комментарии и мне тоже есть что к этому добавить. Вообще много что есть написать, но требуется время чтобы упаковывать эти мысли в сухой профессиональный, а не эмоциональный текст. Пишу, насколько возможно, сухо и коротко, по возможности без иронии: 1. Настроения плохие, мысли об отъезде есть даже у тех кто не собирался уезжать потому что их тут держат: престарелые родители, ипотека, семья, дети, обязательства и тд. Из последнего что я слышу в личных разговорах они звучат примерно так. "Они нас превращают в животных, мы теперь даже не можем думать о будущем", "Если бы нас напали я бы сам в военкомат пошёл, так не напали же!". Это дословно и буквально. 2. Причины не только в "частичной мобилизации", а в том как всё это проводится. Российские законы/указы Пр-та и Пост-я Пр-ва в последние годы почти все перешли в жанр "Всех расстрелять!". Они принимаются в самой неудобоваримой форме, а потом уже " поднимается вой" (читай - резкое возмущение) тех кого они затрагивают и начинаются запросы, письма, потоки лоббистов чтобы хоть чуточку сбавить их "людоедскость" (читай - неприемлимость). Каждый может гадать почему так: потому что неграмотные нормотворцы, потому что паника у авторов этих норм или потому что кто-то открыл(-и) кассовые комнаты и взимают оброк с просителей за конкретные защищаемые интересы. Лоббизм в России выродился в "защитный лоббизм", не того чтобы продвинуть свои интересы, а того чтобы добиться чтобы твои интересы пострадали меньше. 3. Поэтому когда принимается указ Пр-та после которого (неожиданно!) оказывается что он неконкретный, что его надо разъяснять, что вместо нормативных разъяснений идут ненормативные разъяснения от пропагандистов всех цветов радуги, то это поражает главное - полнейшее недоверие будущему. И смесь раздражения, злобы, уныния у тех кто будущего не видит. 4. Это звучит как "если они такое $&*$# вот так приняли, то что им помешает завтра принять закон который расширит категории военнообязанных или ещё чего". Мне лично трудно пока измерить уровень произошедшей делигитиматизации, но и без того невысокий уровень доверия гос-ву упал ещё ниже. 5. Тех кто не поддаётся панике куда больше волнует не мобилизация, а разговоры про применение ядерного оружия. Все кто знает как российская медийная машина устроена понимают что всех кто говорит про ядерное оружие могли бы легко заткнуть чтобы не нагнетать панику. Но их не затыкают, что означает что они чьи то интересы отрабатывают. Любое применение ядерного оружия сейчас - это перевод тех кто это сделает в статус военных преступников автоматически. Но может так оказаться что нас это волновать уже не будет. 6. Многие хвалят Максута Шадаева за то что он вписывается сейчас за ИТ рынок в РФ и делает всё возможное чтобы под мобилизацию попало меньше ИТ специалистов. Я ничего плохого про Максута сказать не могу, при всех возможных грехах он человеческого облика никогда не терял. Но, мы же все понимаем, что на настроения уезжать или нет, влияет не он. Меры доступные Минцифры РФ ограничены их полномочиями, они были бы хороши лет 10-15 назад, а сейчас не они могут исправить текущую ситуацию. В лучшем случае, чуть-чуть, сгладить. Я бы сказал что у меня есть какой-то рецепт как делать всё правильно, но у меня его нет. Процитирую Фазиля Искандера из "Кролики и удавы" - "Если мудрость не может творить добро, она удлиняет путь зла". Будьте мудры. Я, ещё раз подчеркну, что пишу в России и остаюсь в России так долго как только смогу. Ссылки: [1] www.rbc.ru/technol…8c6fd452 #it #itmarket #thoughts -
Реклама
-
Ivan Begtin
В рубрике больших наборов данных Awesome Google Earth Engine Community Datasets [1] каталог геоданных специально подготовленных для быстрого подключения к Google Earth. В каталоге, в общей сложности 105.7 TB данных, 584 тысячи изображений, всего коллекций с изображениями 268, с описаниями объектов 414 и более 518 миллионов характеристик (features) объектов в общей сложности. Из особенно интересного, там есть данные LandScan [3] собираемые ORNL (Oak Ridge National Laboratory) [4] в США. LandScan даёт возможность просматривать плотность населения на территориях с очень высоким разрешением. Кроме того там много других интересных наборов данных для всех кто работает с геоданными. Ссылки: [1] samapriya.github.io/awesome…datasets [2] samapriya.github.io/awesome…ts/stats [3] samapriya.github.io/awesome…landscan [4] https://landscan.ornl.gov #opendata #datasets #geo #googleearth #datacatalogs -
Ivan Begtin
В рубрике как это работает у них, вышло обновление [1] документа политики управления и обмена данными [2] National Institutes of Health (NIH) США через который преимущественно осуществляется госфинансирование исследований в области здравоохранения. NIH - это крупнейший грантодатель на биомедицинские исследования в мире и поэтому его политики устанавливают "правила игры" для большей части исследовательских центров в области биомедицины в США. В документе есть три ключевых акцента. 1. Использование устоявшихся репозиториев. Это означает не создание своих порталов/репозиториев с нуля, а использование и не через персональные аккаунты, а через устоявшиеся институциональные репозитории такие как Dryad, например. 2. Своевременная публикация. Данные исследований должны публиковаться сразу же с научной работой или же по завершению работы в целом (определяется сроком завершения гранта выделенного на работу). 3. Подтверждение качества данных. На качестве данных делается существенный акцент и оно определяется как возможность проверки и воспроизведения исследования на их основе. Ссылки: [1] blog.datadryad.org/2022/09…-sharing [2] grants.nih.gov/grants/…013.html #opendata #datapolicy #openaccess -
Ivan Begtin
В рубрике полезных инструментов для обработки данных VisiData [1]. Это весьма популярный в ограниченных кругах открытый продукт по просмотру и обработке данных через визуальный текстовый интерфейс. Такие инструменты ещё называют TUI (Text User Interface). Для кого-то это будет напоминать утилиты вроде Dos Navigator / Norton Commander / Vim и ещё огромное число утилит для Unix / DOS. А сейчас это вновь набирающее оборот явление, можно сказать что переоткрываемое. VisiData позволяет просматривать файлы и базы данных делая запросы, листая результаты и предоставляя возможность обрабатывать строки и колонки с данными. Плюс он там ещё может считать статистику по файлам, строить гистограммы и ещё много чего. Хорошая утилита, как по мне. Идет, почти, вровень с open refine когда дело касается обработки данных (data wrangling / refining). Как и все подобные GUI / TUI инструменты он, в первую очередь, полезен тем кто решает задачи обработки данных без программирования. Например, дата-журналистам и аналитикам. Ссылки: [1] https://github.com/saulpw/visidata #data #datatools #dataengineering #datajournalism #datawrangling #opensource 
-
Ivan Begtin
Полезное чтение про данные, технологии, программирование и не только в виде дайджеста: - The impossible case of pitching rust in a web dev shop [1] полезный образный кейс и подборка примеров того почему крупнейшие компании переходят на Rust и очень конкретные примеры того к какой эффективности это приводит. В основном речь о сокращении энергопотребления, меньшем объёме потребления памяти, значительно лучшей производительности. - Hurl [2] инструмент тестирования запросов к веб-сайтам через скриптовое описание текста в простом тексте. Умеет то же что и Curl, но через скрипты и включает удобную проверку результатов. Несомненно полезно и необходимо для автоматизации тестирования API. - MFA Fatigue: Hackers’ new favorite tactic in high-profile breaches [3] новая тактика хакеров по взлому аккаунтов через "задалбывание пользователей" запросами через многофакторную аутентификацию. Так чтобы пользователь, или случайно, или от усталости подтвердил вход. Уже несколько компаний были успешно взломаны через такую социальную инженерию. В частности это был Uber. - Rocketry [4] система планирования задач написанная на Python и позволяющая регулярно выполнять определенные задачи в отдельной нити или в отдельном процессе. Казалось бы зачем это нужно если есть Crontab для локального или Airflow для глобального? Потому что позволяет строить трубы задач (pipelines) и помогает решать более комплексно чем crontab, и потому что сильно проще чем Airflow. И, конечно, потому что концепция Everything as a code - не такая уж плохая концепция. - The beginning of ‘Everything as Code’ [5] в качестве напоминания текст Ethan Batraski от 2020 года про то что "всё код" и концепцию Everything-as-a-Code (EaC). Он там приводит немало примеров того что можно, также, представить в форме кода: управление настройками, документацию, политики соответствия и тд. и тп. - The World Bank Data Catalog [6] весьма развившийся каталог данных Мирового Банка. 5449 наборов данных на 24 сентября, из них 175 наборов данных связаны с Россией. Ссылки: [1] https://flakm.github.io/posts/rust_why_dev_shop/ [2] https://hurl.dev/ [3] www.bleepingcomputer.com/news/se…breaches [4] https://rocketry.readthedocs.io [5] medium.com/ethanjb…4e9a75e9 [6] https://datacatalog.worldbank.org/home [7] https://datacatalog.worldbank.org/search?fq=(geographical_extent%2Fcoverage%2Fany(geo:geo%2Fname%20eq%20%27Russian%20Federation%27))&q=&sort=last_updated_date%20desc #opendata #data #opensource #datatools #readings -
Ivan Begtin
Всемирная организация здравоохранения приняла новую политику с требованием по обязательному раскрытию данных всех финансируемых ими научных исследований [1] в их анонсе ссылка на документ руководства опубликованного в апреле 2022 г. Распространение и повторное использование медико-санитарных данных в исследовательских целях: руководство ВОЗ по политике и осуществлению [2] Если изложить кратко тезисами, то примерно так: 1. Все данные исследований должны раскрываться 2. Данные должны публиковаться в одном из открытых репозиториев соответствующих ряду критериев. Примеры приведены 3. Исследования должны быть основаны на принципах FAIR [3] 4. Данные должны проходить деперсонализацию. Как я уже много раз писал, структуры ООН сейчас одни из лидирующих в мире по масштабам раскрытия данных. Ссылки: [1] www.who.int/news/it…rch-data [2] www.who.int/ru/publ…40044968 [3] https://www.go-fair.org/fair-principles/ #opendata #un #who #openaccess -
Ivan Begtin
В рубрике интересных стартапов на данных Whaly [1] французский стартап в области автоматизации BI и аналитики, привлекший $1.9M венчурных инвестиций в июле 2022 г. [2]. Стартап любопытный в том что конкурирует с Looker, но своим рыночным преимуществом указывает что умеет интегрироваться с десятками онлайн сервисов и эта интеграция не требует внешнего ETԼ сервиса. Что, в целом, соответствует тому о чём писал Benn Stancil [3] о том что ETL бизнесу вроде Fivetran недолго осталось царствовать. Whaly продукт весьма любопытный, но бесплатно его не попробовать и ценообразование там какое-то непонятное, всё через созвон с сейлами и в прайс листе указано что планы начинаются с $460 в месяц. Наверное сервис хороший, но вот этот вот подход с невозможностью бесплатного тестирования мне лично категорически не нравится. И, признаюсь, я лично, обжёгшись на Gitbook'е и Scaleway очень настороженно отношусь к французским стартапам. Даже когда продукт выглядит интересно, customer service оказывается ужасающим. Ссылки: [1] https://whaly.io/ [2] https://www.crunchbase.com/organization/whaly [3] https://benn.substack.com/p/how-fivetran-fails #data #datatools #startups #analytics #BI 
-
Ivan Begtin
Вчера я выступал на Kazan Digital Week про открытость транспортных данных и, похоже, я был единственным на этом мероприятии кто вообще говорил про открытость государства хотя бы частично. Осталось ощущение гласа вопиющего в пустыни. -
Ivan Begtin
Председатель Ассоциации участников рынка данных Иван Бегтин о доступности транспортных данных, собираемых госсистемами, для использования бизнесом. Выступление на круглом столе «Большие данные в транспортной отрасли на примере работы ГИС «Электронные перевозочные документы»”, KAZAN DIGITAL WEEK -
Ivan Begtin
В рубрике как это работает у них, портал открытых транспортных данных Франции transport.data.gouv.fr [1] я писал о нём несколько лет назад и за эти годы портал активно развивался. На портале уже размещено 417 наборов данных [2] причем 112 наборов данных - это данные реального времени! Данные публикуются в соответствии с 6 национальными стандартами описания транспортных данных. Многие данные можно, также, увидеть на интерактивной карте [7] в реальном времени по местам публикации этих данных их владельцами. Ссылки: [1] https://transport.data.gouv.fr [2] https://transport.data.gouv.fr/datasets? [3] https://normes.transport.data.gouv.fr/ [4] https://transport.data.gouv.fr/explore #opendata #france #transport #datasets 
-
Ivan Begtin
Интересная и пока малопопулярная, но перспективная штука Daft [1] это интерфейс работы с датафреймами вместе с мультимедиа и другими файлами, например, это актуально в задачах генеративного искусства, автоматического создания текстов, изображений, аудио и видео. Поддерживает стандартный интерфейс датафреймов а-ля Pandas и позволяет выполнять комплексные запросы. Я чувствую что как-то надо сделать обзор движков для датафреймов, их возможностей и ограничений. В первую очередь с точки зрения работы с данными в диких / реальных, а не лабораторно выверенных условиях. Ссылки: [1] https://www.getdaft.io/ #data #datatools -
Ivan Begtin
Полезное чтение про управление командами данных. Onboarding for Data teams [1] о том как собирать команды дата специалистов и погружать их в работу. Онбоардинг - это быстрое погружение в работу. Много полезных советов и рекомендаций. Мне понравилась идея в том что новичок в первый день должен сделать коммит в промышленный код (production). Что-то в этой идее есть. Ссылки: [1] seattledataguy.substack.com/p/onboa…ta-teams #data #datateams -
Ivan Begtin
The right to privacy in the digital age Свежий доклад представителя по правам человека ООН [1]. Документ короткий, на 17 страниц. Там про всё, взломы телефонов правительствами (спецслужбами), массовую слежку, ограничения в использовании шифрования, нарушениях прав человека и так далее. То о чём писали многие, но изложено сжато и в докладе ООН. Ссылки: [1] documents-dds-ny.un.org/doc/UND…4229.pdf #privacy #reports -
Реклама
-
Ivan Begtin
В рубрике интересных наборов данных открытое API проекта Metaculus [1] по краудсорсингу предсказаний. Проект позволяет регистрировать предсказания, собирать оценки от пользователей и измерять точность предсказаний. Все эти сведения доступны в формате JSON через API проекта [2]. Всего в проекте более 1 миллиона предсказаний [3] что очень даже немало. Для полного счастья нехватает только дампов данных, но может быть авторы добавят их в будущем. Ссылки: [1] https://www.metaculus.com [2] https://www.metaculus.com/api2/ [3] twitter.com/fianxu/…03431168 #opendata #predictions #datasets #API 
-
Ivan Begtin
В рубрике интересного чтения про данные, технологии и не только: - The Vector Database Index [1] сравнение нескольких векторных баз данных. Полезно для понимания как устроен этот рынок и того между чем можно и стоит выбирать. Не все продукты рассмотрены, но достаточно многие. Для тех кто не знает или подзабыл - векторные базы данных используются для построения нейросетей и, например, для поиска по подобиям, поиска аномалий и пользовательских рекомендаций и скоринга. Этот рынок растёт и в нём довольно много инвестиций уже есть и приходит. - What I've learned from users [2] свежий текст Пола Грэхема о том чему научился от основателей стартапов профинансированных Y Combinator. Как и все тексты автора - почитать его стоит. Пишет он редко и всегда по делу. - Modern COBOL Tooling [3] для тех кто хочет погрузится в вечность или даже не знаю как это описать, но набор инструментов в современных средах разработки и курсов по COBOL. - Instant MD5 Collisions [4] всё ещё используете хэш функции MD5? А их уже подменяют моментально, на примере пары картинок и большой текст. - Faster CPython ideas [5] репозиторий идей по ускорению языка Python реализованного на С. Python никогда не отличался высокой скоростью, но был и есть гибок. Интересно то как думают о его ускорении. - SQLite: Past, Present, and Future [6] об устройстве и судьбе СУБД Sqlite. Важно потому что не стоит недооценивать масштабов её использования особенно в мобильных устройствах и IoT. - Document Foundation starts charging €8.99 for 'free' LibreOffice [7] этот момент настал и LibreOffice в магазине для Mac'ов продается за 8.99 евро. Обещается что сумма пойдет на разработку ПО. Напомню что LibreOffice - это ответвление (форк) OpenOffice. Ссылки: [1] gradientflow.com/the-vec…se-index [2] http://paulgraham.com/users.html [3] www.openmainframeproject.org/all-pro…ngcourse [4] https://github.com/corkami/collisions [5] https://github.com/faster-cpython/ideas [6] muratbuffalo.blogspot.com/2022/09…ure.html [7] www.theregister.com/2022/09…cos_fees #opensource #readings #rdbms #data -
Ivan Begtin
В Великобритании Министерство юстиции (российский аналог - Министерство внутренних дел) анонсировало [1] подготовку стратегии по работе с данными, data strategy, которую пока описали одним слайдом из 3 пунктов на этом же слайде. Обещают вскоре в блоге опубликовать саму стратегию, очень будет интересно её почитать. Я коллекционирую документы дата-стратегий и цифровых стратегий, хочется надеяться что этот будет полезным. Ссылки: [1] mojdigital.blog.gov.uk/2022/08…e-system #opendata #data #uk #datastrategies 