Ivan Begtin. Страница 43
3903
@begtin
I am focused on Open Data, Procurement, e-Government, Open Government and other tech stuff
-
Ivan Begtin
Написал на английском языке заметку Headless and reverse [data] products [1], это перевод моей русскоязычной статьи [2] о безголовых и обратных продуктах для работы с данными такими как headless BI и reverse ETL. Тема эта широкая, в качестве упражнения можно даже потренироваться и выписать 3 колонки: - направление работы с данными - безголовость (headless) - обратность (reverse) Направления можно взять из Modern Data Infrastructure [3], а можно из любых других областей ИТ. Ссылки: [1] medium.com/@ibegti…c163b382 [2] https://begtin.substack.com/p/19?s=w [3] future.a16z.com/emergin…tructure #architecture #data #reading -
Ivan Begtin
В новости про 85% «вернувшихся ИТшников», отслеженных по СИМ картам, ключевое слово - не вернувшиеся, а отслеженные. За нами следят (с) Прощай родная конституция Прощай гражданские права ИТ почти как проституция Следят за нами на раз-два И не лепит никто горбатого Сдавшим нас сотовым операторам -
Ivan Begtin
Не могу не поделиться мыслями о том что все соцсети, профессиональные или личные со временем превращаются в болото маркетологов. Если поначалу туда приходят те кто хочет читать и писать о личном, или рабочем, или ином, то через некоторое время существенная доля сообщений, запросов на френдование и не только становятся исключительно рекламными. Я читаю сейчас многих зарубежных специалистов ругающих то во что превратился LinkedIn, а он превратился в какой-то бесконечный индийский спам и минимальную профессиональную коммуникацию. Вижу как постепенно Github используется в маркетинговых целях. Для автоматизированных рассылок предложений о работе, для рекламы продуктов в стиле "Вы поставили звезды продуктам в категории А и Б, значит Вам понравится и наш продукт". Про фэйсбук и все остальные даже речи нет. Вопрос в том куда уходит профессиональная коммуникация? Какое будущее её ждёт? Обречены ли все соцсети вырождаться в пастбища для маркетологов или есть альтернативы? #thoughts -
Реклама
-
Ivan Begtin
Написал очередной текст на английском про будущее NoSQL в Modern Data Stack [1]. В этот раз не писал с нуля, а перевел свою февральскую статью [2] с русского на английский. Заметка о том почему NoSQL продукты вроде MongoDB выпадают из современного стека данных и что с этим можно поделать. Ссылки: [1] medium.com/@ibegti…03bc61e8 [2] https://begtin.substack.com/p/23 #data #datacatalogs #nosql #moderndatastack -
Ivan Begtin
Подборка актуального чтения про открытость данных: - началась расшифровка и публикация геномов вируса обезьяньей оспы на сайте Nextstrain [1] - The Future of Open Data [2] книга о будущем открытости данных от канадских исследователей Teresa Scassa и Pamela Robinson. В книге есть отдельный акцент на открытых государственных геопространственных данных. - Policy Brief: Harnessing data to accelerate the transition from disaster response to recovery [3] рекомендации по управлению данными в ситуациях восстановления при катастрофах - в Новой Зеландии публикуют данные лидаров нескольких территорий [4] - власти Великобритании планируют принять закон [5] переводящий в открытые данные данные о городском планировании - открытый каталог не-открытых данных Ирландии [6], фактически это каталог данных находящихся в управлении органов власти Ирландии, но не публикуемых в силу наличия в них персональных данных или иной чувствительной информации. - данные и визуализация изменения потребления, генерации и цены на электричество в мире [7] особенно заметен сейчас резкий рост цен на электричество в Европе - свежее исследование о низком качестве исследовательских данных [8], это отдельная большая работа объяснять учёным как и зачем публиковать данные в пригодном для работы формате. Ссылки: [1] https://nextstrain.org/monkeypox [2] https://ruor.uottawa.ca/handle/10393/43648 [3] https://zenodo.org/record/6566685 [4] https://t.co/YeSmZbOF1Z [5] www.computerweekly.com/news/25…planning [6] https://datacatalogue.gov.ie/ [7] https://ember-climate.org/data/data-explorer/ [8] royalsocietypublishing.org/doi/ful…021.2780 #opendata #reading -
Ivan Begtin
Новые порталы и каталоги данных в проекте datacatalogs.ru Добавлены: - Геопортал ИВиС ДВО РАН - Геопортал ТИГ ДВО РАН - Геопортал СВКНИИ ДВО РАН Портал интеграции данных РФ из мировых музеев (минералы) - «Информационные ресурсы Единой геофизической службы РАН» (БД ИР ЕГС РАН) Все они относятся к научным порталам и каталогам данных и метаданных, доступных либо в открытом режиме, либо по запросу. Всего в проекте datacatalogs.ru собрано 263 ресурса с данными в России или о России. Если Вы ведете каталог данных и Ваш ресурс в каталоге отсутствует, заполните форму https://www.datacatalogs.ru/add-resource и мы обязательно его добавим. #datacatalogs #dataportals -
Ivan Begtin
Сегодня такой день что без мелкого троллинга ну никак не получается обойтись. Вот тут [1] в справочнике "Субъекты Российской Федерации" опубликованным Минздравом России на портале НСИ Госуслуг можно увидеть как у полей "Субъекты РФ", "ОКАТО_2", "Конституционно-правовой статус" и других стоит пометка "Нецензурная лексика". Я конечно всё понимаю, конституционно правовые статусы у многих могут вызывать яркие эмоции, но неужели вот прям настолько? Даже не смею догадываться как так получилось. Ссылки: [1] esnsi.gosuslugi.ru/classif…tructure #opendata #data #it #humour 
-
Ivan Begtin
Журналисты вчера буквально завалили меня запросами на комментарии по куче ИТ тем, причём я на часть вопросов старался отвечать: "мнения не имею, спросите специалистов". Но какие-то комментарии важно уточнять чтобы не было кривотолков: 1. По поводу того что СМИ пишут про увольнения украинских ИТ специалистов и людей с украинским гражданством. Я таких несколько случаев знаю, где-то с результатом увольнения, где-то повышенного внимания. Ничего хорошего в этом не вижу. Системы комплаенс проверки в том числе сейчас учитывают гражданство проверяемых. Повторюсь каких-либо данных у меня лично нет, знаю только конкретные случаи и в очень небольших компаниях в рынке инфобеза. Сейчас мои слова активно трактуют СМИ не так как я их произносил, поэтому уточняю и конкретизирую. 2. По поводу рейтингов цифровой трансформации. Я повторюсь что мне не нравится то чем сейчас занимаются руководители по цифровой трансформации (РЦТшники) и как написаны ВПЦТ (ведомственные программы цифровой трансформации). Смысл в них выхолощен, тема открытости полностью исчезла из их работы. Я категорически не согласен что сервисы (госуслуги) должны быть приоритетом их работы и новый рейтинг РЦТшников оцениваю столь же скептически как предыдущий 3. По поводу смены критерии включения ИТ компаний в реестр аккредитованных. Я бы сказал так, и хорошо, и плохо. Хорошо будет тем кто сейчас под эти критерии попадёт. А плохо будет когда налоговики и следаки оголодают и будут доначислять "незаконно полученную выгоду" от применения пониженных налоговых ставок. Сейчас в реестре аккредитованных есть те кто вообще никак нигде и никаким образом не может быть ИТ компанией. Но они там есть. И их оттуда не исключают. В общем не читайте советских газет по утрам. Никому не верьте, мне можно (с) #it #politics #comments -
Ivan Begtin
В Эстонии пишут о высоком уровне открытости данных в стране [1]. Они заняли 2-е место в оценках открытости Global Data Barometer [2]. На первом месте США, что, в целом справедливо, и в GDB довольно точно указано что в США высокий уровень прозрачности по всем направлениям, кроме реестра компаний. Это известная тема с тем что общенационального реестра компаний в США нет до сих пор. А вот с тем что сейчас измерено в России по открытости, к сожалению, это возможно последние такие результаты. Всё быстро идёт к постепенному закрытию данных по каждому из направлений. Вернее к закрытию или не открытию там где должно быть. Особенно вопиющая ситуация в том что касается качества жизни и COVID-19. За всё время пандемии российское правительство не опубликовало _ни одного набора данных_ по теме пандемии. Медиа материалов - сколько угодно, наборов данных - ни одного. Ссылки: [1] e-estonia.com/estonia…-of-data [2] https://globaldatabarometer.org/results/ #opendata #gdb -
Ivan Begtin
Написал заметку про DELT (Discover, Extract, Load, Transform) на английском языке [1] на Medium. Ссылки: [1] medium.com/@ibegti…3a08727a #datadiscovery #digitalpreservation #etl #data -
Ivan Begtin
Я не так давно писал про ETL выделенную из Datacrafter'а для данных в NoSQL форматах JSONlines и BSON [1]. Это кусок кода отделенный в рамках "техдолга", то что надо было сделать давно и только недавно до этого дошли руки. Но есть задача для которой точно нет подходящего простого ETL/ELT/data pipeline engine - это как раз цифровая архивация для создания тематических коллекций архивируемых сайтов, аккаунтов в соцсетях и тд. Задачи по цифровой / веб архивации можно разделить на несколько видов, но в части сбора данных, основных всего два. Массовый сбор и сфокусированные коллекции. Массовый сбор - это когда роботы вроде краулеров Archive.org обходят условно неограниченное число цифровых ресурсов и делают слепки и актуализируют ранее собранные материалы. Сфокусированные коллекции - это когда собирается не всё а по перечню: сайтов, разделов на сайтах, отдельных файлов, каналов в телеграм, аккаунтов в соцсетях и тд. Для массового сбора есть своя экосистема инструментов, а вот для сфокуированных коллекций категорически нехватает ETL инструментария. Причём скорее ETL чем ELT потому что много двоичных данных которые можно поместить в озеро данных и сложно хранить в хранилище данных. Логика та что что у классических ELT продуктов. Извлечение данных с помощью разных инструментов и стратегий, преобразование для долгосрочного сохранения и загрузка в Internet Archive, какое-то постоянное хранилище и ещё куда-то, по необходимости. Эта логика дополняется ещё одной стадией D - Discovery. Это когда движок получает на вход набор ссылок и на их основе автоматически определяет стратегию в зависимости от типа ресурса. В итоге получается DELT (Discover Extract Transform Load). Недостаток такого движка в узкой применимости и в больше значимости этапа Extract, поскольку извлечение и сбор данных наиболее длительны и ресурсоёмки. В принципе развитие дата инженерии давно уже достигло той стадии когда нужны специализированные решения. В основном они сейчас строятся на готовых продуктах, но иногда функций готовых продуктов недостаточно. #digitalpreservation #etl #dataengineering -
Ivan Begtin
Написал очередной текст на английском о семантических типах данных и интеграции их идентификации с Wikidata [1] и особенностях ведения реестра metacrafter'а. Через какое-то время переведу его на русский на пишу в рассылку [2]. Для технологических лонгридов буду теперь писать, чаще всего, именно в такой последовательности. Ссылки: [1] medium.com/@ibegti…3e4d7431 [2] https://begtin.substack.com #data #articles #opensource -
Ivan Begtin
Полезное чтение про данные: - дорожная карта развития dbt до 2023 года [1]. Главное, конечно, поддержка моделей на Python. Очень надеюсь что работать с NoSQL данными с помощью dbt станет куда проще. - труба данных от Stripe [2], можно данные о платежах теперь получать напрямую в свой data warehouse. Довольно интересный подход и стратегия. Не подключать внешние ELT/ETL а самим складывать в базу клиента. Если такое будет развиваться, то весь ландшафт продуктов на данных поменяется. - batch or stream [3] о том как работать с данными, выгрузками или потоками. Интересные размышления - State of Workflow Orchestration 2022 [4] доклад о управлении потоками задач и данных. Много любопытного, я из него узнал про Temporal [5], движке для задач с JS внутри. Из минусов - читая доклад можно подумать что движков всего 5-6, а это совсем не так Ссылки: [1] github.com/dbt-lab…story.md [2] https://stripe.com/en-gb-fr/data-pipeline [3] medium.com/@bdjidi…b2cd9031 [4] https://www.prefect.io/lp/gradientflow/ [5] https://temporal.io #datatools #datengineering #opensource #reading -
Ivan Begtin
Подготовил перевод на русский статьи про поисковики по данным и отправил в рассылку на Substack [1]․ Кстати, если Вы не подписались ещё, то приглашаю подписываться [2]. Рассылку я веду на русском языке, пишу туда редко, но только относительно большие тексты. Ссылки: [1] https://begtin.substack.com/p/25?sd=fs [2] https://begtin.substack.com #datadiscovery #data #dataportals -
Ivan Begtin
Изучаю сейчас международные методики оценки и мониторинга политик работы с данными и вижу достаточно чёткий фокус в определении приоритетов по 6 направлениям: - G2G - госполитика работы с данными государства для государства - B2G - госполитика предоставления данных бизнеса для государственных задач - G2B - госполитика предоставления данных государства для бизнеса - G2C - госполитика предоставления данных государства гражданам - G2S - госполитика предоставления данных государства исследователям. - B2S - госполитика предоставления данных бизнеса исследователям. Причём много есть регулирования по каждому из этих направлений и роль государства как регулятора особенно заметна в ЕС, Великобритании и ещё во многих странах. Удивительно, при этом, что некоторые африканские страны делают большой прогресс по управлению и госполитикой работы с данными. Я регулярно читаю лекции и провожу семинары по управлению основанному на данных, теперь вот планирую обновить все материалы нестандартными примерами из опыта Африки. Африканские страны же дружественные к России?;) Например, Вы знали что в Руанде есть, не много, не мало, а National Data Revolution Policy [1] включающее, в том числе, Data Archiving Framework. Может нам есть чему поучиться у регуляторов Руанды? Ну а кроме шуток приятно видеть что в мире регулирование работы с данными и госполитика в этой области получает качественное развитие. И расстраивает что в России подобного ничего не наблюдается. Ссылки: [1] statistics.gov.rw/file/54…download #opendata #policy #regulation -
Реклама
-
Ivan Begtin
Продолжается кампания по архивации порталов открытых данных и разделов сайтов органов власти и иных организаций создававших разделы с открытыми данными. В общей сложности собраны данные 37 сайтов в объёме 43 GB данных в сжатом виде zip и warc.gz форматах (около 320 GB в распакованном виде). Основной объём составляют слепки данных порталов opendata.mkrf.ru (15GB) и data.gov.ru (14GB) соответственно. Порталы архивируются, либо инструментами веб-архивации , либо скриптами разработанными под конкретный портал. Полный перечень архивируемых сайтов доступен в таблице в Airtable [1], а код для архивации ряда порталов в репозитории rudatarchive [2] на Github. Присоединяйтесь к кампании, помогайте с архивацией данных которые ещё не отмечены как собранные. В России более 240 порталов, разделов, сайтов содержащих открытые данные, а также есть ряд ресурсов посвящённых открытости гос-ва - открытости бюджетов. Эти ресурсы также в этом списке. Выгруженные данные можно загрузить на какой-либо временный файловый хостинг и прислать нам ссылку или же, при небольшом объёме, загрузить их в репозиторий rudatarchive на Github. Ссылки: [1] https://airtable.com/shr1rzsajTM5SSyoI [2] https://github.com/ruarxive/rudatarchive #opendata #digitalpreservation #webarchives -
Ivan Begtin
Напоминаю что сегодня будет трансляция нашей мини-конференции про цифровую архивацию [1], подключайтесь дистанционно, у нас будут интересные дискуссии и доклады. Я буду участвовать в пленарной дискуссии в 16 часов и выступать с докладом после дискуссий. В докладе буду рассказывать о том зачем мы создали Национальный цифровой архив Ruarxive.org [2] и что делали в 2022 году. Ссылки: [1] https://conference.ruarxive.org [2] https://ruarxive.org #digitalpreservation #webarchives -
Ivan Begtin
👨💻 24 года — cредний возраст ИТ-специалистов, претендующих на отсрочку от армии Всего ИТ-компании подали заявки на оформление отсрочки от армии для 8,7 тыс. своих сотрудников. Критериями для оформления отсрочки были: 🔹гражданство РФ;🔹возраст — от 18 до 27 лет (родившиеся с 01.04.1995 по 15.07.2004);🔹работа по трудовому договору;🔹нормальная продолжительность рабочего дня;🔹высшее образование по специальности из перечня подпадающих под отсрочку;🔹работа в аккредитованных компаниях не менее 11 месяцев в период с 1 апреля 2021 по 1 апреля 2022 г. или устройство на работу в течение года после окончания учебы. @mintsifry