Клуб CDO. Страница 7
1243
@cdo_club
Сообщество профессионалов в области работы с данными и ИИ
-
Клуб CDO
Зашел сегодня на конференцию BigData&AI 2023, первый доклад прям интересный сразу - про правовые барьеры работы с данными, статус разных категорий данных, текущую ситуацию и тренды. Докладывает Карен Казарян из АНО «Цифровая экономика». В целом очень здравый и прагматичный анализ. PS в коменты к этому посту буду если что фотки со слайдами складывать 
-
Клуб CDO
Решал тут задачку по профилированию датасета - надо было быстро на него как то посмотреть и очень какие столцы, насколько заполнены, распределения и тд и тп. Вручную едать было лень, поискал какие есть тулы которые бы автоматом такое делали и нашел очень интересный инструмент ydata-profiling Берете любой датасет (например в pandas), отдаете его тулзе и на выходе получаете структуру с анализом которую можно сохранить, например, в html и будет готовый прекрасный отчет - посмотрите примеры в доках Ну а кому хочется заморочиться, тула поддерживает очень много возможностей и интеграций ydata-profiling.ydata.ai/docs/ma…dex.html ydata-profiling.ydata.ai/example…ort.html -
Клуб CDO
Очень интересная статья от Uber о том, как они борются с такой проблемой как Data Shift. Особенно интересная статистика в разрезе существующих проблем с данными. Для контроля качества компания разработала собственную систему D3 (Dataset Drift Detector). Система отслеживает качество данных в режиме реального времени, красивые дашборды реализованы. В статье так же довольно детально описана архитектура. Вот что у них на постоянном мониторинге: - Null Percentage - False Percentage - Percentile (P50, P75, P99, P1) - Standard Deviation, Mean, Median - Count Distinct www.uber.com/en-BG/b…a-drifts -
Реклама
-
Клуб CDO
Практический пример реализации distributed machine learning tech.instacart.com/distrib…d7569423 -
Клуб CDO
📢 30 марта! Форум BIG DATA&AI 2023 📢 Андрей Евтихов, управляющий директор, SberDevices: Новый "цифровой мозг" компании и рывок к технологической независимости. ❓Как увеличить объем собираемых данных на порядок и втрое сократить стоимость владения решениями для управления данными? ✅ Андрей Евтихов, управляющий директор, SberDevices представит опыт производителя «умных» устройств не только по созданию новых возможностей для бизнеса за счет внедрения собственной платформы данных, но и по достижению технологической независимости в экстремальных внешних условиях. Проект номинирован на премию Data Award 2023. ✒️ Спешите регистрироваться » #bigdata #bi #аналитика #AI #искусственныйинтеллект #большиеданные #ML #BI #SberDevices #DataAward 
-
Клуб CDO
Приходите 30-го на конфу, будем рассказывать интересные вещи -
Клуб CDO
Кроме computer sciense и данных, еще люблю космос, но на него времни остается очень мало 🙂 Но все равно одним взглядом смотрю новостные ленты и материалы на эту тему. Попалась тут довольно объемная статья про OneWeb - интересная, вся история проекта описана, а я как раз все время ловил себя на мысли, что надо бы понять, что там вообще происходит. То они там банкротятся, то спутники новые запускают, то РФ там активно участвует, что не участвует и тп В общем если кому это тоже интересно - почитайте aboutspacejornal.net/2023/03…B1%D0%B0 -
Клуб CDO
Отдельно вынесу сюда этот список книг для инженеров dzone.com/article…tely-mus -
Клуб CDO
Пятничное чтиво про историю появления ChatGPT и соображения непосредственных участников соревнованийwww.technologyreview.com/2023/03…t-openai -
Клуб CDO
Дайдест статей Unified Streaming And Batch Pipelines At LinkedIn: Reducing Processing time by 94% with Apache Beam engineering.linkedin.com/blog/20…ing-proc «Нужна конфиденциальность — не вступайте в программу лояльности»: какие покупательские данные может собирать супермаркет vc.ru/trade/6…ermarket Пайплайн для создания классификации текстовой информации https://habr.com/ru/post/724790/ Top 5 Data Streaming Trends for 2023 dzone.com/article…g-trends Согласованность данных: что это на самом деле такое и почему с ней все так сложно https://habr.com/ru/company/vk/blog/723734/ Data Science vs. Software Engineering: Understanding the Fundamental Differences dzone.com/article…standing Инструменты наблюдаемости, о которых нужно знать в 2023 году https://habr.com/ru/company/ruvds/blog/723588/ Как устроено индексирование баз данных https://habr.com/ru/company/ruvds/blog/724066/ Генерация данных — творчество или рутина? https://habr.com/ru/post/723202/ Как улучшить точность ML-модели используя разведочный анализ https://habr.com/ru/post/719206/ -
Клуб CDO
Умер сооснователь корпорации Intel Гордон Мур, американский миллиардер и инженер, пионер полупроводниковой электроники, чей "закон Мура" предсказывал неуклонный рост вычислительной мощности. Ему было 94 года. Благотворительный фонд семьи Intel и Мура сообщил, что он умер в окружении семьи в своем доме на Гавайях. https://bbc.in/3LQU2QO Если ссылка выше не открывается, читайте здесь. -
Клуб CDO
:( человек, сформулировавший наш любимый «закон мура» rip -
Клуб CDO
Интересная статья про кейс организации управления данными в компании Regeneron. Regeneron - биотехнологическая компания, разрабатывающая изменяющие жизнь лекарства, оказалась заваленной огромными объемами данных во время пика пандемии COVID-19. Чтобы получить полезную информацию из этих разрозненных наборов данных, которые варьировались от данных клинических испытаний до информации о цепочке поставок в режиме реального времени, компании нужны были новые способы их объединения и сопоставления, независимо от того, в каком формате они были и откуда они были получены. Компания в ответ на этот вызов внедрила подход "озеро данных". Подробное описание кейса можно скачать по ссылке: www.technologyreview.com/2023/03…ing-data -
Клуб CDO
FineBI - китайская система аналитики, которую год назад анонсировала на нашем рынке компания GlowByte, в качестве альтернативы ушедшей с рынка Tableau. 29 марта компания GlowByte будет проводить бесплатную онлайн конференцию для пользователей FineBI. https://t.me/finebi_ru/267 Регистрируйтесь! -
Клуб CDO
Интересный список научных статей по ИИ. Есть мнение, что если прочитать эти работы, то они полноценно могут заменить обучение по ИИ в университете. docs.google.com/documen…K-U/edit -
Реклама
-
Клуб CDO
все, места кончились на GPT-4 
-
Клуб CDO
⚡️Китай собирается создать новое государственное агентство для централизации управления обширными хранилищами данных страны Агентство будет принимать решения о том, могут ли транснациональные компании экспортировать данные, полученные в результате их операций в Китае. Агентство также установит и обеспечит соблюдение правил сбора и обмена данными для предприятий. Например, он сможет запретить компаниям собирать определенные виды потребительских данных или проверять данные, которыми отечественные компании планируют поделиться с иностранными деловыми партнерами, для проверки потенциальных нарушений национальной безопасности. -
Клуб CDO