Клуб CDO. Страница 23
1243
@cdo_club
Сообщество профессионалов в области работы с данными и ИИ
-
Клуб CDO
Небольшая статья от Netflix об их опыте выявления аномалий. На самом деле этой кейс по детекции обхода защиты контента, которая делается с помощью ML модели которая использует 23 фичи. netflixtechblog.medium.com/machine…ef3be3f6 -
Клуб CDO
Интересная статья об опыте разработки децентрализованного поисковика. В статье много про технологии децентрализованного (наверное, этот термин и нужно использовать для web3.0 в обличии от термина "распределенного") хранения данных и подводных камнях. Хотя автор и сам признает, что занимается изобретением велосипеда, с точки зрения обзора технологий - очень неплохой материал. https://habr.com/ru/post/690252/ -
Клуб CDO
Всем привет! Подъехала вторая тестовая версия наших нейроквестов. Потестируйте, пожалуйста, очень нужна ваша обратная связь — хочется понять, уже годно или ещё пока нет) Квестовый бот — https://t.me/ll_quests_test_bot Выбирайте своего персонажа, а потом используйте подсказки бота или просто пишите текстом свои произвольные действия. И ставьте, пожалуйста, лайки/дизлайки Ещё вот тут завели чатик для обратной связи для бота и идей для развития проекта: https://t.me/+HsPcMAsw4HRhY2Yy 
-
Реклама
-
Клуб CDO
Коллеги, потестируйте плз новую фичу нашу 🙂 Буду рад обратной связи! -
Клуб CDO
Рад поделиться новостью, что опубликован учебник "ESG-трансформация и бизнес-дипломатия», в который вошли мои материалы по упралению данными и ит-функцией организации https://www.elibrary.ru/item.asp?id=49477867 полный текст доступен тут: https://shashkova.expert/course/50 -
Клуб CDO
Про системный подход к проверкам гипотез на А/Б тестах от коллег из Glowbyte habr.com/ru/comp…g/685038 -
Клуб CDO
Описание кейса по мэтчингу данных от компаний Platforma и HFLabs. Кейс выполнялся для компаний, которые хотели объединить данные своих программ лояльности. Прямой обмен данными невозможен, но 152-ФЗ позволяет использовать анонимизированные данные для статистических и аналитических задач. Поэтому специалисты Platforma и HFLabs разработали процесс мэтчинга на основе двухэтапного хеширования с использованием сессионного «секрета», доступного только владельцам данных. Казалось бы что сам по себе мэтчинг на хэш функциях не самая инновационная штука, но в статье описаны несколько подводных камней, которые могут проявиться только на практике - когда у вас данные не точно написаны, дубликаты и тд. Поэтому именно за счет практической стороны вопроса эта статья и интересна. habr.com/ru/comp…g/689772 -
Клуб CDO
Статья, описывающая гипотетические сценарии работы децентрализованные дата-маркетплейсы на основе блокчейн, данные из которых применяются для обучения ML моделей. В целом интересное направление мысли. Как я писал ранее и как я и продолжаю думать на текущий момент - применение блокчейн в области обмена данными является вполне себе интересным и уместным применением этой технологии. В том числе тут применяются и модели обучения с использованием метода безопасных вычислений, который позволяет обучать модели без раскрытия исходных данных для обучения. https://habr.com/ru/post/688818/ -
Клуб CDO
Вынесу эту статью в отдельный пост https://habr.com/ru/post/686732/ -
Клуб CDO
CNews выпустил максимально странный рейтинг. А где все остальные то игроки? По какому принципу компании включали в этот список? Правда, 20 мл выручки в год это уже крупнейший российский игрок? Бред какой то www.cnews.ru/reviews…17ff363a -
Клуб CDO
Пара статей на тему технического долга в ML системах. www.datasciencecentral.com/a-model…-systems www.datasciencecentral.com/technic…spective -
Клуб CDO
Не так давно прочитал книгу "Стратегии перемен. Как добиться выдающихся результатов в нестабильные времена" и она меня немного удивила. Сначала казалось, что это еще одна книга с банальными бизнес-клише, но книга оказалась полна очень разумных и правильных идей, подкрепленных хорошей аргументацией и исследованиями. В целом в книге под "переменами" имеется ввиду просто период тотальной цифровизации, который начался перед COVID, так что читая книгу сегодня, кажется что некоторые моменты уже устарели, но тем не менее основные рекомендации остаются актуальными. Если очень коротко изложить основные выводы и take aways, то тезисы я бы написал вот такие: - Важность положительной обратной связи сотрудникам, те получая положительное подкрепление активируется мотивация - Важность лидерства на всех уровнях и создания такой корпоративной культуры, которая поддерживает проявления лидерства на всех уровнях корпоративной иерархии - Важность регулярного менеджмента и контроля основных показателей - Четкое понимание ответа на вопрос зачем проводятся изменения - Создание или изменение организационной структуры компании предназначенной для проведения изменений - Важность использования данных и аналитики, принятия решений на основе данных - Важна корпоративная культура Если чуть более полно, то во вложенном файле избранные цитаты. Если вообще все хочется почитать, что книга по ссылке: www.litres.ru/dzhon-k…ov-v-nes -
Клуб CDO
Дайджест статей 02/10/22 Data Management in Complex Systems dzone.com/article…-systems Готовимся к миграции чувствительных данных habr.com/ru/comp…g/690098 Best Practices for Building a Cloud-native Data Warehouse or Data Lake dzone.com/article…-data-wa How to Automate Data Cleaning, in a Nutshell www.datasciencecentral.com/how-to-…nutshell -
Клуб CDO
Сразу за SQAdays EA идет AnalystDays EA, и теперь заметки оттуда. Татьяна Половинкина. Система D5 = DDD+DD и при чем тут аналитики? Насыщенный доклад про Domain Driven Design и Data Driven. Основной тезис: в 2020 концепт ограниченных контекстов DDD добрался-таки до проектирования хранилищ данных и на смену централизованным хранилищам пришел Data Mesh. До этого все было централизованным, от переезда DWH, известных с 1980х в Data Lake в 2000 ничего принципиально не изменилось. И теперь с этим надо жить. Ну а теперь - заметки. Аналитики - не вымрут. Потому что аналитик - специалист по изменениям - а это будет только увеличиваться. Но скоуп меняется, теперь надо все больше данные анализировать. Четвертая промышленная революция показала, что данные важны, а пятая - окончательно погрузит нас в матрицу. Концепты DDD * Ограниченные контексты: одинаковые слова воспринимаются по-разному. DRP: disaster recovery plan или distribution requirement planing. Покупатель - атрибуты. Я тут добавлю, что в одних системах покупатель - тот, кто уже совершил покупку, а в других - тот, кто потенциально готов купить и его надо до покупки довести, и это тоже разные представления. * Единый язык. Аналитик - Дата инженер - Data Scienst, BI. Data Engineer - далеко не всегда понимает смысл данных, он как дизайнер - умеет располагать и сжимать. Несколько лет назад была аналогичная проблема с админами - появились DevOps. Тут тоже будет решение. * От логики к инструментам. Есть много методик, с разными подробностями. Но во всех общий принцип, что начинаем двигаться от бизнес-логики, и можно просто именно это и делать. Я тут согласен, а если у заказчика есть любимая методика - то надо просто быстренько прикинуть, как то, что вы делаете, брендировать эnим способом - потому что очень многие методики - очень тяжеловесны и не жизнеспособны. При этом, естественно, никто не запрещает взять из методики полезное. DD - Data Driven. Тонем в потоке данных, надо как-то разбивать и научиться управлять. Масштабируемость и эволюция в каждом домене. Но! недопоминание и недоверие между доменами. Что делать? Управлять данными, определить то, что производят домены. Data Product - данные, которые нужны другим доменам. Доступные, Понятные, Надежные, Безопасные, Читаемые. Тут у меня мысль. Есть старая добрая книга Николас Вирт "Алгоритмы + Структуры данных = Программы" (1976). Насколько похоже, что все - как там, только слагаемые надо переставить и уровень абстракции в примерах поднять, чтобы перенести на современные методы? Может, перечитаю ее под этим углом зрения. Data Domain - децентрализированная распределенная система с малыми зависимостями, не ждем согласований и т.п. Два подхода. * DAAP: data as a product, выдает данные как есть * DAAS: data as a service, выдает ответы на запрос как сервис. Данные должны иметь ценность. Единообразной методики оценки ценности - нет. Поэтому вам надо самим ее извлекать. Что меняется с Data Mesh, децентрализацией данных? * Сетевая федерированная структура. Как и карта доменов в DDD, пусть укрупненно. Децентрализация управления * Поддерживать разумные исторически сложившиеся связи * Четкое понимание задач домена * Двухсторонняя конкуренция (эволюция). И дальше по отдельным направлениям. * Продукт. Множественность (повторное использование - бюджет), Разделение проблем и задач (сеньор и миддл). От MVP к Roadmap * Модульность: Анализ домена от и до. Пересмотр записимостей. Матрица коммуникация. -- Распределяет поток по людям * Данные: Ценность, Data Driven, DaaP и DaaS Вывод: думай глобально, действуй локально. Глобальное видение - но не оцепенение, а активные действия в области, где можешь. А вообще можно считать, что эти подходы применял Юлий Цезарь. Разделяй и Властвуй - это про DDD. А захватывая провинцию - он строил дороги и это тогдашний способ Data Driven. -
Клуб CDO
почитаем очередные прогнозы 🙂 https://www.litres.ru/viktor-pelevin/kgbt/ -
Реклама
-
Клуб CDO
Маск презентовал безумно дешевую рабочую силу и заявил, что AGI очень близок к появлению Час назад завершилось ключевое в мире событие по искусственному интеллекту. У нас выйдет отдельный пост об основных моментах презентации команды Tesla. А пока ловите один из основных выводов мероприятия: Маск заявил, что робот - гуманоид Optimus(см.видео) будет стоить $20тыс, что означает ~ $1 в час при 12 ч его работы в день в течение 4 лет. Это очень дешевая рабочая сила! Миллионы людей, по мнению Маска, купят робота, чтобы он готовил, убирал и тд. А также по задумке Маска робота должны купить промышленные компании, в том числе из автопрома. Продолжение следует. -
Клуб CDO
Очередное чтение на вечер пятницы вам :) naked-science.ru/article…i-roboty -
Клуб CDO
Друзья! Представляем вашему вниманию новый, 11-й выпуск Альманаха «Искусственный интеллект», выпущенный Центром Искусственного интеллекта МФТИ – он посвящен применению технологий ИИ в здравоохранении. Выпуск получился очень объёмный, он структурирован на 14 разделов с различными областями применения ИИ: 1. Введение 2. Медицинская диагностика 3. Системы поддержки принятия решения 4. Предиктивная аналитика рисков 5. Носимые устройства и управление образом жизни 6. Мониторинг хронических заболеваний 7. Виртуальные ассистенты 8. Психическое здоровье 9. Хирургия и оснащение операционных 10. Разработка лекарственных средств 11. Биотехнологические исследования 12. Этические аспекты 13. Испытания, сертификация, регистрация В каждом разделе обзорная статья, дающая общее понимание применения ИИ в этой области. И статьи от российских компаний, которые в этой области работают. А также обзор основных зарубежных и российских компаний, предлагающих решения. Читать будет интересно и тем, кто глубоко погружен в технологии - посмотреть, какие есть новые области для применения, и тем, кто занимается медициной - посмотреть какие решения существуют в той ли иной области медицины. Очень надеемся, что этот Альманах поможет конструктивному диалогу между отраслью ИИ и медицины!) Скачать Альманах №11 можно здесь P.S. Всем подписчикам, хоть раз зарегистрировавшимся на сайте, прямая ссылка на скачивание автоматически придет на почту)