Обложка канала

Клуб CDO. Страница 19

1243 @cdo_club

Сообщество профессионалов в области работы с данными и ИИ

  • Клуб CDO

    Все никак не доходили руки прочитать и опубликовать новый отчет Gartner MQ по ландшафту DS/ML, а тут попался интересный пост с обзором, поэтому просто поделюсь им. Основной вывод - продолжается рост DSML Engineering Platforms, поскольку все больше и больше команды аналитиков начинаю доводить до прода эксперименты с использованием данных в процессе принятия решения и для того, что бы работать с моделями на регулярной основе нужна технологическая поддержка. Думаю, что этот тренд будет достаточно устойчивым в течение нескольких лет. telegra.ph/Mysli-p…er-10-07
    Мысли после прочтения очередного отчета Gartner

    Gartner вместо одного MQ по ландшафту DS/ML теперь говорит о том, что рынок платформ DS/ML более сложный, и выпускает отчеты по разным сегментам этого рынка. Ранее делился мыслями про отчет “Market Guide for Multipersona Data Science and Machine Learning Platforms” тут. А сегодня немного мыслей возникших после прочтения отчета “Market Guide for DSML Engineering Platforms” (он переопубликован на страницах разных причастных к теме вендоров, например, тут). Disclaimer: так получилось, что мысли плавно перетекли…

    Telegraph
  • Клуб CDO

    #nlp #про_nlp Блог Себастьяна Рудера, одного из самых заметных NLP-исследователей Google, переезжает на новую платформу. Рудер — соавтор ULMFit, XTREME, FewNLU, и многих подходов к transfer learning и fine-tuning языковых моделей. Рассылка и обзоры лучших статей конференций ACL, EMNLP, ICRL, обзоры главных событий и научных трендов теперь будут на отдельной платформе NLP Newsletter вместо Twitter https://nlpnewsletter.substack.com/
    NLP News

    Regular analyses of advances in natural language processing and machine learning. Click to read NLP News, a Substack publication. Launched an hour ago.

    Substack
  • Клуб CDO

    Дайджест статей 20/11/2022 Три инструмента для быстрого профилирования данных habr.com/ru/comp…g/700082 How to Build A Data Inventory At Your Organization www.datasciencecentral.com/how-to-…nization The Distributed Data Problem dzone.com/article…-problem Открытые данные. Как сматчить несматчиваемое или Нейросеть вам в помощь https://habr.com/ru/company/tochka/blog/699490/ How Artificial Intelligence Can Improve Your Fundraising Efforts www.smartdatacollective.com/how-art…-efforts
    Три инструмента для быстрого профилирования данных

    Анализируйте и сводите данные быстрее с помощью этих инструментов Python Автор материала кратко, наглядно и с примерами кода представлет три пакета Python, заметно упрощающих и ускоряющих...

    Хабр
  • Реклама

  • Клуб CDO

    Upgrading Data Warehouse Infrastructure at Airbnb

    This blog aims to introduce Airbnb’s experience upgrading Data Warehouse infrastructure to Spark and Iceberg

    Medium
  • Клуб CDO

    Всем привет! Коллеги из GlowByte определили новую дату проведения митапа Data People и приглашают всех присоединиться к мероприятию 22 ноября в 18:00! Как и планировали, коллеги расскажут про актуальные архитектурные решения: модульную open source платформу для управления рисками в финтехе и решение “Цифровой советник” в промышленном интернете вещей, которое позволяет встроить предиктивную аналитику в технологические процессы на производстве. Ждём всех к нам уютным осенним вечером! С тебя - хорошее настроение, с нас - интересные доклады и вкусное угощение в пространстве Фотофактура. Митап традиционно бесплатный, нужна регистрация https://datapeople.ru/dp17?utm_source=promo&utm_medium=tg&utm_campaign=cdo_club
  • Клуб CDO

    Как говориться, есть и хорошие новости :) Рынок AI будет расти, как утверждается в свежем отчете IDC dataphoenix.info/accordi…orldwide
    According to IDC, artificial intelligence spending will grow 20.7% worldwide

    According to the latest report from International Data Corporation (IDC), the world's leading provider of analytics, consulting services and events for the information technology, telecommunications and consumer technology markets, called the Worldwide Semiannual Artificial Intelligence Tracker on September 12, 2022, global artificial intelligence (AI) market revenue, including software, hardware, and

    Data Phoenix
  • Клуб CDO

    Новая статья от коллеги из Ростелекома о том, как работает их сервис по управлению загрузками данных в DWH habr.com/ru/comp…g/695416
    Тактовый механизм управления DWH: как разгрести бесконечную очередь и не умереть

    Привет, Хабр! Я хочу поделиться с тобой тем, как работает наш сервис по управлению загрузками данных – в общих чертах, не погружаясь супер глубоко. Основная задача сервиса – снизить трудозатраты...

    Хабр
  • Клуб CDO

    Заехал сегодня на TechWeek, фидбэк и обсуждение к комментах :)
  • Клуб CDO

    The 100 Must-Read Books of 2022

    Introducing this year’s best fiction, nonfiction, and poetry

    Time
  • Клуб CDO

    Статья от коллег из MIT про синтетические данные. В статье разбирается кейс обучения моделей определения действий людей по изображениям, сбор данных для которого довольно дорогостоящий и ограничен уже многими законами о сборе чувствительных данных. Поэтому эта проблема решается путен генерирования синтетических данных. news.mit.edu/2022/sy…nts-1103
    In machine learning, synthetic data can offer real performance improvements

    Machine-learning models trained to classify human actions using synthetic data can outperform models trained using real data in certain situations. This could help scientists identify when it’s better to use synthetic data for training, which could eliminate bias, privacy, security, and copyright issues that often impact real datasets.

    MIT News
  • Клуб CDO

    Дайджест статей 13/11/2022 Трансграничная передача персональных данных: новый порядок https://habr.com/ru/post/699038/ A/B тесты, принцип дефицита и летящие цены: как график цен влияет на поведение пользователей habr.com/ru/comp…g/698216 Data Science vs. Data Analytics dzone.com/article…nalytics Как упаковывать и дистрибутировать модели машинного обучения с помощью MLFlow https://habr.com/ru/company/otus/blog/698130/ How To Cultivate Data-Driven Decision-Making In Your Workplace www.smartdatacollective.com/how-to-…orkplace Data Streaming for Data Ingestion Into the Data Warehouse and Data Lake dzone.com/article…-data-wa
    Трансграничная передача персональных данных: новый порядок

    Этой осенью вступили в силу самые масштабные с 2011 года поправки в российский закон о персональных данных. Как привести бизнес-процессы компаний в соответствие с новыми правилами - рассказываем в...

    Хабр
  • Клуб CDO

    IBM представили свой 433-кубитный квантовый компьютер Osprey ИТ-гигант презентовал Osprey, у которого 433 кубита по сравнению со 127 кубитами процессора Eagle 2021 года. Компания планирует к 2025 году увеличить масштаб своих квантовых компьютеров до 4000 кубитов. В новой дорожной карте по квантам IBM до 2026 года заявлено, что уже в следующем году рубеж в 1000 кубит будет преодолен.
    Quantum-centric supercomputing: The next wave of computing | IBM Research Blog

    IBM Quantum’s mission is to bring useful quantum computing to the world.

    IBM Research Blog
  • Клуб CDO

    По ссылкам ниже статья и доклад коллег из Tinkoff про создание собственного решения класса Data Catalog. Проанализировав имеющиеся на рынке решения коллеги решили разработать такую системы сами. Уверен, многим эта тема актуальна. Статья: habr.com/ru/comp…g/697220 Доклад: https://www.youtube.com/watch?v=jMATH538qsA
    Как в Тинькофф создавали Data Catalog

    В чем главная задача аналитика? Думать головой и принимать решения. А правильные решения можно принять только при наличии нужных данных. Но как найти данные в большой компании? Раньше мы решали эту...

    Хабр
  • Клуб CDO

    Интересная цитата от Грефа, господа. — Никакие российские компании не смогут поддержать тот уровень конкуренции, который был. Озвучена эта мысль была на форуме инновационных финансовых технологий. Греф сказал, что уход иностранных компаний из России в долгосрочной перспективе отрицательно скажется на российской экономике из-за того, что сильно снизится конкуренция между компаниями: — Главное средство развития инноваций – это жёсткая конкуренция. Там где нет конкуренции – нет инноваций. Нет, и точка.
  • Клуб CDO

    вот еще мнение тут в копилку вчерашнего вопроса 🙂
  • Реклама

  • Клуб CDO

    Коллеги из Axenix (ex-Accenture, никак не привыкну к новому названию) подготовили очень хороший обзор текущего ландшафта BI систем https://habr.com/ru/company/axenix/blog/695960/
    Исследование рынка российских (и не только) BI-платформ

    В последнее время компания Axenix отметила усиление требований к BI отчетности со стороны клиентов. Раньше наиболее распространенным требованием бизнес-заказчиков был перенос презентаций в...

    Хабр
  • Клуб CDO

    Всем привет! Есть небольшая просьба ко всем. Ко мне обратились коллеги из АНО "Цифровая экономика" с просьбой дать свою экспертную оценку по перспективам ИТ отрасли в следующем году. Если быть точным, вопрос звучит как: "подскажи, какие у тебя прогнозы по ИТ-отрасли и процессам цифровой трансформации в России на следующий год? - Что будет с железом? - Что с ограничениями? - Что с зарплатами? - Что с импортозамещением? Какие идеи в целом?" Напишите в комментариях плз, кто что думает? Ниже, например, мое скромное мнение, с которым можно поспорить или поддержать🙂 Спасибо! В целом, если коротко, то самый главный момент, который вызывает беспокойство, это ккоэффициент эффективности труда ИТ специалиста. Я считаю себя инженером, но из того, что я знаю об экономике, я знаю что это самый фундаментальный показатель успешного экономического развитие и все промышленные революции о которых вы всегда говорим в рамках дискурса по цифровизации, были связанны именно с тем, что у человечества появлялись новые инструменты, который качественно меняли этот показатель. Техника: - если говорить о рабочим станциях/ноутах - китайцы делают и привозят, поставки в целом идут. Понятно что отваливаются Топ производители, типа Apple, Lenovo, ну будем работать на дешевой и не очень хорошей технике - в серверах +/- такая же ситуация - идет и усиливается миграция на Линукс как основную ОС, в том числе и на рабочих станциях - идет общая деградация по софту - нет доступа к топовому и популярному софту, а это значит идет снижение эффективности труда в области ИТ специальностей. есть замещения, но они хуже -> говорить о том, что мы что то делать не сможет совсем было бы пессимизмом, но вот то, что наш ждет падения эффективности труда -> увеличение стоимости проектов и уменьшения скорости - говорить нужно переход на open-source это хорошо, но так же факт, что разработка на open-source это дольше и сложнее, в сравнении с тем, если у тебя есть вендорское зрелое решение, основной задачей которого является снижение time-to-market прикладных решений. -> тк ИТ проекты будут требовать больше усилий и их стоимость будет расти (в силу снижения производительности и повышения сложности реализации), будем уходить из "высоких" материй в приземеленную автоматизацию, особенно на фоне сильного оттока лучших кадров, рук не будет хватать на "гонку вооружений", несколько лет уйдет на то что бы поддержать то, что было и заместить тех, кто ушел (например, вместо того, что бы писать сейчас вои сервисы видеоконференций или коммуникаций, эти ресурсы могли бы делать что то новое и инновационное, что будут делать другие страны в это время), ну и, как следствие, в силу того, что остальной мир будет продолжать тем же путем технологического развития с тем же ускорением, наше технологическое отставание будет расти. - отток кадров: в целом я бы оценил общий отток по отрасли в 10%, но это в количестве. Проблема в том, что мы теряем лучшие кажды, поэтому "в качестве" этот отток уже я бы сказал процентов 30% - по зарплатам не скажу, я думаю что на фоне общего спада экономики скорее на нее будет давление сверху, так что не ожидаю роста
  • Клуб CDO

    Квантовые компьютеры считают одним из возможных бустеров в области ИИ, тк концепция вычислений, которую они реализуют, хорошо соответствует потребностям процесса обучения нейронный сетей. Кроме этого, в вопросах изучения разума, сознания и природы реальности вообще, часто исследователи приходят к концепциям квантовой теории, что накладывает дополнительные взаимосвязи с квантовыми вычислениями. Вот в этой статье неплохо раскрываются основные принципы работы квантовых компьютеров. https://habr.com/ru/post/690786/
    Квантовые компьютеры: без математики и философии

    В этой статье я разберу по косточкам все тайны квантовых компьютеров: что такое суперпозиция (бесполезна) и запутанность (интересный эффект), могут ли они заменить обычные компьютеры (нет) и могут ли...

    Хабр