Обложка канала

Клуб CDO. Страница 21

1243 @cdo_club
Открыть

Сообщество профессионалов в области работы с данными и ИИ

  • Клуб CDO

    Organizations need to deliberately create data

    Why we need to stop thinking of data as oil

    Data Creation

  • Клуб CDO

    Коллеги, привет! Есть предложение провести в ноябре второйе оффлайн мероприятие CDO Club DataHouse#2. Но не просто, а в Питере! 🙂 Многие просили, а тут есть возможность сделать это 11/11/22 (пятница). Место пока определяется, повестка тоже, если у кого то есть предложения - велком в комментарии. Давайте поймем, насколько актуально, есть ли желающие, какой вообще отклик находит такое предложение 🙂 прошу залайкать, кому интересно и обсудить в комментах.

  • Клуб CDO

    Дайджест статей 23/10/22 Управление данными ставит перед предприятиями непростые задачи https://habr.com/ru/company/otus/blog/694256/ Как мы используем Greenplum в платформе данных Тинькофф https://habr.com/ru/company/tinkoff/blog/694652/ Как оценить размер данных: краткий гайд habr.com/ru/comp…g/694728 Data Streaming for Data Ingestion Into the Data Warehouse and Data Lake dzone.com/article…-data-wa What is trustable data? Why do you need it? www.datasciencecentral.com/what-is…EF%BF%BC
    Управление данными ставит перед предприятиями непростые задачи

    В настоящее время организации в среднем управляют в 10 раз большим количеством данных, чем пять лет назад: с 1,45 петабайт в 2016 году до 14,6 петабайт в 2021 году. Таков главный вывод Глобального...

    Хабр

  • Реклама

  • Клуб CDO

    📺Посмотреть на выходных: видеоинтервью с Еленой Еричевой из Botkin.AI о применении ИИ в медицине Специалист в области компьютерного зрения и машинного обучения 🏷Botkin.AI Елена Еричева рассказала о сложностях с распознаванием медицинских изображений из-за большого числа серых оттенков, проблемах адаптации данных и переобучении ИИ-моделей в связи с COVID-19. Также Еричева объяснила причины малого количества медицинских датасетов и их неуниверсальность. 👉🏻Смотреть видео

  • Клуб CDO

    Обратите внимание на новый инструмент для разработки схемы децентрализованных данных. Все больше появляется интересных инициатив и новых инструментов для работы с данными в распределенной среде. www.dataengineeringweekly.com/p/intro…tralized
    Introducing Schemata - A Decentralized Schema Modeling Framework For Modern Data Stack

    Data Contracts & Decentralized Data Ownership, and more

    Data Engineering Weekly

  • Клуб CDO

    Powering ML-Based Systems With Reliable Data: The Data Annotation Journey · trivago tech blog

    In the last few years, organisations have been increasing their investments in building Machine Learning (ML) based systems. In practice, such systems often took longer than expected to be built or failed to deliver the promised outcome. Data availability and quality have been among the most significant reasons behind this phenomenon. Since each organisation had its custom problems, open datasets or even logged data were not always directly usable. As a result, data collection and annotation processes became more crucial, yet remained under-documented.

    trivago tech blog

  • Клуб CDO

    Неожиданная новость утром - Apple выложил наш клиент к Jazz для iOS, хотя пытались пройти review уже несколько месяцев и уже не ждали. Не в тему канала, сори, но лично отвечаю за этот продукт и рекомендую попробовать :) пиши если что не так, поправим! apps.apple.com/ru/app/…21085208
    ‎Салют! Jazz

    ‎Приложение, в котором можно провести видеовстречу с близкими, друзьями и коллегами. Для встреч нет ограничений по времени, а в комнате может собраться до 200 человек. Всё, к чему вы привыкли Добавляйте участников в любой момент встречи, используйте чат, поднимайте руку, отправляйте реакции и управ…

    App Store

  • Клуб CDO

    Eats data platform: Empowering businesses with data

    How Coupang Eats built a configuration-driven data ingestion, processing, and utilization system — Part 1

    Medium

  • Клуб CDO

    В чатике Инжиннирг Данных мы обсуждали Data Mesh, и Никита Бабуров скинул несколько хороших вводных материалов по этой теме: Как с помощью Data Mesh разломать ваше DWH — Евгений Ермаков, Яндекс GO Introduction to Data Mesh with Zhamak Dehghani Data Mesh in Practice - Max Schultze Ну и книга Data Mesh (есть pdf? кидайте в комменты) Мне не доводилось внедрять дата меш, как я понимаю это для крупных компаний, у кого уже безнадега в аналитическом (их) решении(ях), то им самое время задуматься о таком концепте и начать думать о своих данных как о продукте. Как вы понимаете data mesh?
    Как с помощью Data Mesh разломать ваше DWH — Евгений Ермаков, Яндекс GO

    Концепция «Data Mesh» стала притчей в мире данных и все больше компаний пытаются его внедрить. Но возникает справедливый вопрос — стоит ли этот подход окружающего его хайпа или это просто веяние моды, которое сменится чем-то в ближайшее время? В рамках своего доклада Евгений рассказал: — что такое Data Mesh и почему компания решила внедрять этот подход в Яндекс Go (Яндекс Такси, Яндекс Еда, Яндекс Лавка, Яндекс Маркет); — о плане по «распиливанию» монолитного DWH на микросервисные куски; — о граблях, на которые команда наступила, в итоге разломав свое DWH. Доклад или вдохновит вас пойти по тому же пути Data Meshанины, или предостережет от опрометчивых решений. Дайджесты, статьи и анонсы митапов: https://t.me/itstinkoff Блог на Хабре: https://l.tinkoff.ru/habr-tinkoff Наши вакансии: https://l.tinkoff.ru/its-career

    YouTube

  • Клуб CDO

    Вот тут продолжается наполнение библиотеки кейсов систмного дизайна самых популярных платформ и приложений Great Read. Solved System Design Case Studies : System Design Series Design Tinder : https://bit.ly/3Mcyj3X Design Uber : https://bit.ly/3fyvnlT Design Yelp : https://bit.ly/3E7IgO5 Design Facebook’s Newsfeed : https://bit.ly/3RldaW7 Design Web Crawler : https://bit.ly/3DPZTBB Design API Rate Limiter : https://bit.ly/3BIVuh7 Design Dropbox : https://bit.ly/3SnhncU Design Youtube : https://bit.ly/3dFyvvy Design URL shortener : https://bit.ly/3xP078x Design Messenger App : https://bit.ly/3DoAAXi Design Instagram : https://bit.ly/3BFeHlh Design Twitter : https://bit.ly/3qIG9Ih All solved case studies : https://bit.ly/3dCG1rc

  • Клуб CDO

    Key Takeaways from Gartner Data & Analytics Summit 2022

    Augmented analysis, synthetic data, adaptive governance, and more

    Medium

  • Клуб CDO

    А вот интересная статья про самую боль :) потери данных при их миграции из одной систему в другую и сверку. Уверен, кто сталкивается с практической реализации хранилища или интеграцией данных - знают что это такое и сколько времени уходит на выверку данных во всех источниках и приемниках https://habr.com/ru/company/tuturu/blog/689224/
    Потери данных при репликации в аналитическое хранилище — автоматические сверки и мониторинг качества данных

    Данные из боевых баз в нашей архитектуре асинхронно попадают в аналитическое хранилище (Clickhouse), где уже аналитики создают дашборды для продуктовых команд и делают выборки. Базы здоровые и под...

    Хабр

  • Клуб CDO

    Довольно интересная статья о "происхождении данных" в которой это понятие раскрывается в разрезе разных типов "происхождения" engineering.backmarket.com/our-und…5718abd0
    Our understanding of Data Lineage

    Discover the 3 Data Lineage categories we defined from our state-of-the-art exploration

    Medium

  • Клуб CDO

    Всем хорошей недели!

  • Клуб CDO

    According to the latest report from IDC, global artificial intelligence market revenues, including software, hardware, and services for AI and non-AI applications, will be $383.3 billion in 2021, a 20.7% increase over the previous year. https://bit.ly/3rZtdhU

  • Реклама

  • Клуб CDO

    Дайджест статей 15/10/2022 Big Data + Machine Learning = Love https://habr.com/ru/company/first/blog/692978/ Как заменить Qlik и PowerBI с минимальными потерями: Visiology+Loginom+PostgreSQL habr.com/ru/comp…g/692876 Плохое качество данных – тихий убийца современных дата-стеков habr.com/ru/comp…g/692670 Grab Shared Its Experience in Designing Distributed Data Platform https://www.infoq.com/news/2022/10/grab-data-platform/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global
    Big Data + Machine Learning = Love

    Ожидается, что в 2025 году ежегодный объем генерируемых данных превысит 160 зеттабайт. Однако почти все генерируемые сегодня данные (98%) затем удаляются или перезаписываются . Подобное отношение к...

    Хабр

  • Клуб CDO

    Его величество коннектом: сверхзадача нейробиологии

    Мозг – уникальная клеточная структура и по своему строению, и по функциям. Строение нервной системы, и головного мозга в частности, является одним из важных таксономических признаков. В конечном...

    Хабр

  • Клуб CDO

    Lakehouse — The journey unifying Data Lake and Data Warehouse

    Overview of our migration from a two-tier data architecture consisting of a Data Lake and Data Warehouse to a Lakehouse built on AWS

    Medium