Ivan Begtin. Страница 42
3903
@begtin
I am focused on Open Data, Procurement, e-Government, Open Government and other tech stuff
-
Ivan Begtin
В рубрике интересных проектов на данных Data-Driven Discovery of Models (D3M) [1], большой проект DARPA, военного ведомства США финансирующего инновационные проекты. Проект посвящён автоматизации data science и предсказанием применения моделей данных. А главная идея в улучшении понимания предметных областей для для исследователей данных. Они упоминают там 3 платформы в этом направлении: - Einblick [2] система совместного исследования данных и моделирования предсказаний на их основе - TwoRavens [3] система для моделирования предметных областей через данные и моделирования данных в этих областях - Distil [4] система для специалистов предметных областей исследовать данные в разных формах Фактически D3M это экосистема внутри которой финансируются многие проекты. Например, Auctus, поисковик по данным о которым я недавно писал [5] и Datamart [6] проект по анализу наборов данных с сопоставлением их с Wikidata. А также множество проектов по направлению AutoML, помогающим автоматизировать работу отраслевых экспертов и отделяющих машинное обучение от самих специалистов по машинному обучению. Через типовые модели, через создание базы примитивов для этих моделей и многое другое. Там много очень разных интересных идей, причём в сторону технологически продвинутых nocode/low-code инструментов внутри которых могут быть сложные алгоритмы работы с данными. Фактически это путь по значительному усилению отраслевых аналитиков в областях экономики, геополитики, промышленности и тд и для того чтобы они самостоятельно могли бы работать с большими данными. Ссылки: [1] https://datadrivendiscovery.org/ [2] https://www.einblick.ai/ [3] http://2ra.vn/ [4] https://d3m.uncharted.software/ [5] https://t.me/begtin/3922 [6] https://datadrivendiscovery.org/augmentation/ #data #research #datascience #datadiscovery #ml -
Ivan Begtin
⚡️Аркадий Волож покидает совет директоров и пост генерального директора группы компаний «Яндекс». Это решение принято после того, как против него ввел санкции Евросоюз. «Я считаю решение комиссии нелогичным. Однако пока действуют санкции, я не буду давать никаких указаний и рекомендаций трасту относительно голосования, решения продолжит принимать совет директоров. Это защитит интересы компании и всех наших акционеров. При этом я продолжу помогать компании и ее команде», — прокомментировал санкции и свой уход Аркадий Волож. -
Ivan Begtin
Это, конечно, плохая новость для остатков ИТ сектора в России. Яндекса одна из немногих полноценных больших технологических компаний в России и с глобальными амбициями. -
Реклама
-
Ivan Begtin
В рубрике интересных проектов на открытых данных, малоизвестная поисковая система по наборам данных Auctus [1] созданная в Visualization, Imaging, and Data Analysis lab (VIDA) Университета Нью Йорка В отличие от Google Dataset Search (GDS) эта поисковая система выгружает данные, анализирует их состав, дает возможности расширенного поиска и дополнительно визуализирует данные на карте, таблицей и графиками. Охват меньше чем у GDS, зато подача результата качественно лучше. У проекта открытый код и хорошая документация [2], а также авторы написали научную статью о его создании [3]. Лично я давно хочу сделать похожую штуку, может быть с меньшим акцентом на визуализацию и с большим на обнаружение данных. В том числе включив поиск по семантическим типам данных. А Auctus хороший пример того что такой проект возможен разумными силами. Ссылки: [1] https://auctus.vida-nyu.org [2] https://gitlab.com/ViDA-NYU/auctus/auctus [3] https://arxiv.org/abs/2102.05716 #opendata #data #datasearch 
-
Ivan Begtin
Варианты типов продуктов и новомодных понятий и подходов с ними связанных. Таблица в черновом виде, но по ней можно увидеть типы продуктов: CMS, ETP, ETL/ELT, CRM, CDP и колонки Headless, Reverse, Serverless и Streaming. Можно обратить внимание что: - Headless ETL это скорее будет маркетинговым термином и так почти все ETL предполагают несколько вариантов работы и в жизни такое сочетание не используется, хотя и существует как явление - reverse CMS, ERP и CDP пока не встречались - Serverless популярно для всего кроме Serverless CDP, таких продуктов пока нет - Streaming применимо к ETL/ELT, но не для других. Каких типов продуктов и каких подходов нехватает на картинке? #headless #serverless #reverse #streaming 
-
Ivan Begtin
В рубрике как это устроено у них, портал открытых данных Франции data.gouv.fr [1] Включает более 40 тысяч наборов данных, в основном в форматах CSV, JSON и форматах геоданных GML, GeoJSON, Shape Создан и поддерживается Etalab, подразделением их межминистерского управления по цифре. Работает на платформе udata [3] каталоге данных созданном специально под этот портал. Важные особенности: - большой раздел примеров использования данных [4] более 3000 примеров - данные публикуют не только госорганы [5] но и предприятия и НКО Ссылки: [1] https://data.gouv.fr [2] https://etalab.gouv.fr [3] https://github.com/etalab/udata [4] https://www.data.gouv.fr/fr/reuses/ [5] www.data.gouv.fr/fr/orga…s/izivia #opendata #france #bestpractices 
-
Ivan Begtin
В рубрике интересных продуктов на данных, Directus [1]. Ещё пару лет продвинутая безголовая CMS (headless CMS) конкурирующая с GraphCMS, Strapi и тому подобными CMS решениями и продуктами. Сейчас позиционируют себя как modern data platform, продукт по превращению SQL баз данных в API и No-code app. Смена бизнес модели довольно существенная, не берусь предсказать насколько новый рынок будет больше, но само изменения существенное. Как я понимаю произошло оно после того как они привлекли первые венчурные деньги в $1M в июле 2021 г. Ссылки: [1] https://directus.io/ #data #dataplatforms #startups -
Ivan Begtin
В качестве небольшого оффтопика, для тех кто не знает, я в свободное время иногда пишу едкие стихи на разные около гос и цифровые темы, в канале @ministryofpoems. Читателей у него немного, о том что я его веду также знают немногие, но вот он есть и его можно читать. P.S. Конечно же, все совпадения там случайны, и, конечно же, все образы выдуманы. -
Ivan Begtin
Государство развивает проект поддержки тюремно-приходских инновационных предприятий И проводит для этого серию национальных мероприятий Министерство развития тюремных акселераторов Ищет новых менторов и кураторов Направляйте ваши рекомендации Через сайт Министерства внутренней дискриминации В разделе "Клевета, доносы и ренегаты" Расскажите какие они кандидаты Обеспечим им гарантированное трудоустройство Полезное в нашем мироустройстве За хорошую рекомендацию положена награда И такая что каждому её надо! Много баллов в государственном приложении лояльности Будут полезны Вам до крайности Можно ими закрыть месяц отсидки Или получить какие-нибудь скидки -
Ivan Begtin
Тут российское пр-во пишет в телеграм канале [1] про сервис ФАС России по подаче жалоб на СМС рекламу [2] где обещают блокировать рекламу за 72 часа после обращения. Я прочитав это долго думал как написать про это без матерных слов, отсылки к разного рода сексуальным девиациям и возрастным болезнями вызванные последствиями ковида. И видите, не написал и сдержался! Так вот, в мире есть большая отрасль мобильных приложений которые помогают блокировать спамеров. Они есть у Яндекса, Касперского, есть приложения вроде Труколлера и Намбастера и десятков других которые помогают блокировать спамеров автоматически или очень автоматизировано. И мгновенно! Ими пользуются, несмотря на огромную брешь в приватности, именно потому что спамеры всех порядком достали, а официальная борьба с ними - это для очень особых людей любящих российскую бюрократию. Их немного, таких людей. Может ли государство использовать современные методы? Да, может. И даже не нарушая приватность пользователей самостоятельно, а договорившись или отрегулировав отрасль блокировки спам звонков об автоматической передаче сведений в ФАС России, пусть пользователь сам отмечает галочкой когда он на такое согласен и хочет сделать спамерам больно. И автоматизацией расследований на основе собираемых больших данных. Сложно ли это? Нет, это не грёбанная магия. Это очень простая регуляторная модель концепцию которой можно написать за один день, а реализовать за месяц. Есть ли другие эффективные методы? Да, есть, только работать придётся. Так, внимание вопрос, почему этого не происходит? Может быть потому что хвалёная цифровая трансформация в наших госорганах давно провалена, а пр-во в этом боится открыто признаться и через такие публикации нам как-бы издалека на это намекает? Ребята, намёк понят 😉, полностью согласен, цифровая трансформация ФАС провалилась. Спасибо что в очередной раз об этом напомнили. Ссылки: [1] https://t.me/government_rus/3419 [2] https://fas.gov.ru/pages/zhaloby-sms #russia #regulation #spammers #fas #admarket Правительство России 📲Как пожаловаться на спам-рекламу? ФАС и операторы связи разработали сервис для подачи жалобы на спам-рекламу. Он поможет оперативно блокировать нежелательную рекламу, которая поступает без согласия на ее получение. 💻Заполнить анкету можно на сайте ФАС. ✅С помощью специальной формы абонент может оставить жалобу на поступившую голосовую или СМС-рекламу и оперативно получить ответ от своего оператора. Ожидается, что блокировка нежелательной рекламы будет происходить в течение 72 часов. #полезно
-
Ivan Begtin
UPDATE: О том же в англоязычной заметке в блоге на Medium К вопросу о рынке инструментов работы с данными, могу сказать что за вот уже долгое наблюдение за тем как они развиваются, всё ещё явным образом есть дефицит инструментов 3-х типов с пересекающимися категориями - data wrangling - data quality (observation) - data enrichment Data wrangling Это одна из многими нелюбимых, но актуальных тем, по очистке и подготовке данных. Особенность в что делают это обычно, или с командной строки, или в СУБД, а из удобных интерактивных инструментов только и есть открытый и бесплатный OpenRefine [1] или очень дорогие инструменты вроде Trifacta [2]. У OpenRefine очень серьёзные ограничения по объёму данных, но он весьма популярен в дата-журналистике и дата-аналитике (не дата-инженерии). Так вот таких инструментов дефицит, бесплатных и коммерческих за небольшие-средние понятные деньги. А самое главное с меньшими ограничениями чем у OpenRefine. По моим ощущениям что если такой инструмент построить на современной колоночной или быстрой in-memory базе данных, вроде Tarantool или Clickhouse или одного из похожих движков, то можно создать очень востребованный продукт. Только надо вложить немало усилий в пользовательский интерфейс. О дефиците инструментов по качеству и обогащению данных я ещё напишу в следующих постах. Ссылки: [1] https://openrefine.org [2] https://www.trifacta.com #datatools #datawrangling -
Ivan Begtin
В рубрике полезных инструментов по работе с данными сервис My MLOps Stack [1] позволяет собрать собственный стек технологий для Machine Learning выбрав инструменты под определенные задачи. К инструментам есть пояснения, их категоризация и целевое назначение. Также сильный акцент на open-source инструменты, без упоминания больших платформ. Но как один из инструментов моделирования технологического стека весьма полезный инструмент. Ссылки: [1] https://mymlops.com/ #datatools #moderndatastack #mlops 
-
Ivan Begtin
Скатывание вниз по эскалатору, идущему вверх. Падение позиций России в глобальной экосистеме стартапов. Динамика состояния экосистемы стартапов – один из лучших показателей технологического будущего страны. И если хотите уже сегодня понять, каким может стать это будущее, не пропустите новый 400 страничный отчет о состоянии глобальной экосистемы стартапов в 2022 году. Отчет содержит рейтинги (интегральные и покомпонентные) ста лучших стран-экосистем и тысячи лучших городов-хабов, обзоры по регионам и индустриям с анализом текущего состояния и динамики за последние годы. Смотреть на показатели России жутко и больно. А ведь еще год назад все было, хоть и не великолепно, но вполне прилично. Теперь же, в сравнении с 2021, стремительное падение всех индексов: • - 12 позиций по интегральному индексу • -20 позиций у Москвы по индексу городов-хабов • - 38 позиций у Санкт-Петербурга • у остальных городов-хабов просто кошмар: -127 позиций у Казани, -177 у Томска, -189 у Новосибирска и т.д. У Украины, по понятным причинам, ситуация еще хуже (-16 по интегральному, -45 у Киева, -348 у Одессы). А мир едет себе дальше. Группа лучших цветет и пахнет (ТОР 20 стран и городов см. на приложенных диаграммах. • Лидеры (США, Великобритания, Израиль, Сан-Франциско, Нью-Йорк) держат позиции, как вкопанные. • Китай и Пекин болтает, но Шанхай уже круче Бангалора Группа преследователей рвётся вперед (Ангола +18, Исландия +14, Норвегия и Индонезия +7, Австрия +5). Отчет здесь: https://www.startupblink.com/ #Стартапы 
-
Ivan Begtin
Свежий апдейт по проекту metacrafter. Обновился реестр семантических типов данных metacrafter-registry [1], теперь там появился раздел инструментов [2] со списком, пока, из 9 инструментов и того какие семантические типы данных они поддерживают. Список неполный потому что есть инструменты вроде Microsoft Presidio [3] которые по факту поддерживают ещё и многие типы данных которые пока в этот реестр не входят, но их систематизация хотя бы начата. Каждый инструмент описывается в виде yaml файла с описанием, например, yaml файл metacrafter'а. Сейчас metacrafter с базовыми правилами распознает 48 семантических типов данных [4], а как веб сервис поддерживает 118 семантических типов [5]. На самом деле, конечно, если говорить про ширину охвата, то можно упростить распознавание сведя все численные типы к одному семантическому типу. Например, так сделано в Google Data Studio, а можно наоборот усложинить добавив множество градаций и подтипов. Как это сделано в Metabase где есть отдельные типы данных "Creation Date", "Updated Date" и тд. Ссылки: [1] https://registry.apicrafter.io/ [2] https://registry.apicrafter.io/tool [3] https://registry.apicrafter.io/tool/presidio [4] github.com/apicraf…ter.yaml [5] github.com/apicraf…ta/tools [4] https://registry.apicrafter.io/tool/metacrafter [5] registry.apicrafter.io/tool/me…afterpro #opensource #datatools #apicrafter #metadata #pii -
Ivan Begtin
Для тех кто интересуется, напомню что много лет Инфокультура поддерживает проект Открытые НКО [1] с базой и открытыми данными по всем некоммерческим организациям в России. В какой-то момент нам пришлось переносить их с одного хостинга на другой и миграция затянулась и оказалось сложной, но сейчас сайт снова доступен. Проект, к сожалению, вот уже много лет почти не развивается. Его финансирование закончено, мы поддерживаем его за счёт собственных ресурсов, но закрывать не планируем. Ссылки: [1] https://openngo.ru #openngo #opendata #data #ngo #infoculture Инфокультура Новости Информационной культуры. https://infoculture.ru
-
Реклама
-
Ivan Begtin
Роскомсвобода пишет что Генпрокуратура заблокировала сайт НКО "Мемориал" [1], организации, ликвидированной Минюстом России в конце прошлого года. Напомню что мы провели архивацию и в ноябре 2021 года были сохранены 67 сайтов Мемориала, включая блоги, сайты проектов, и организаций. Все сохранённые ресурсы доступны в каталоге сайтов [2] в формате WARC. Если Вы знаете какие-либо сайты, социальные сети, телеграм каналы или иные цифровые ресурсы Мемориала не попавшие в архивационную кампанию, напишите, проведем их архивацию в ближайшее время. Ссылки: [1] https://t.me/roskomsvoboda/8874 [2] https://airtable.com/shrrQ3hQ5RA62UJmF #memorial #webarchives #archives #digitalpreservation 
-
Ivan Begtin
Очень не хочется, но иногда сложно не писать не про технологии и не комментировать всё те же высказывания вроде 85% "вернувших ИТ-шников". Говорящие, или не понимают, или лукавят. Мобильны, в первую очередь люди, уезжают именно они практически во всех производствах где есть наукоёмкие технологии. Субъективно отток очень большой, просто на поверхности все слышат про отъезд людей "свободных профессий" (журналистов, блоггеров, знаменитостей и тд.). Они на слуху, но, при всём уважении, экономика основана не на них. Отъезд профессионалов заметен только находясь внутри конкретных отраслей. Я бы даже сказал что количественно измерять некорректно, нужны градации уровней специалистов и оценка оттока по этим уровням. Специалисты мирового уровня, с большим числом научных публикаций, патентов и востребованные в мире - уезжают совершенно стремительно. Уезжают ИТ предприниматели бизнес которых не был связан с государством. Джуниоры в ИТ и начинающие специалисты в любых высокотехнологических может и хотели бы, но просто не могут. Всё это я к тому что тут качественная социология важнее количественной, а количественная требует качественной дифференциации. Поэтому весь этот токсичный позитив про уехало то всего-ничего или большинство осталось - это попытки закрыть глаза на реальную проблему. И, наконец, это важно, что понимать что волн отъезжающих будет много и после пары месяцев панического отъезда, будут уезжать уже те кто к отъезду готовился дольше, потом, осенью, когда догонит ухудшение экономической ситуации и тд. Лично я могу сказать что никакие меры сейчас полноценно малый ИТ бизнес не поддерживают, потому что главные проблемы - проблема невозможности кредитования и проблема резкого сокращения ИТ бюджетов у большинства заказчиков - государственных и корпоративных. Кто-то и где-то найдёт новые ниши, но надо понимать что все разговоры про это происходят про новые ниши на сужающемся рынке. Я продолжаю оставаться в убеждении что принятых мер для ИТ категорически недостаточно и нужны совершенно экстраординарные меры чтобы ситуация не усугублялась. #it -
Ivan Begtin
Полезное чтение про открытые данные - Open data: The building block of 21st century (open) science [1] статья в Data & Policy о том что открытость данных должна быть одним из KPI работы исследователей. - New Guidance to Ensure Federally Funded Research Data Equitably Benefits All of America [2] свежее руководство по обязательному раскрытию научных данных финансируемых из госбюджета в США - Let’s stop the UK’s underground data going the same way as its address data [3] - о том что правительство Великобритании обсуждает судьбу национального реестра подземных ресурсов и что многие опасаются что он станет закрытым и за деньги Ссылки: [1] www.cambridge.org/core/jo…5F76E001 [2] www.whitehouse.gov/ostp/ne…-america [3] openaddressfile.uk/2022/05…ess-data #opendata #opengov