Обложка канала

Клуб CDO. Страница 29

1243 @cdo_club
Открыть

Сообщество профессионалов в области работы с данными и ИИ

  • Клуб CDO

    Митап NoML Community. Сергей Ярымов: Опыт построения корпоративного Feature Store

    Сергей Ярымов Data Engineer в МТС Big Data Опыт построения корпоративного Feature Store За пять с лишним лет Big Data МТС выросла из небольшого внутреннего стартапа в самостоятельный центр. Наши наработки ML проходят этап взросления из бунтарского rnd в зрелый production. И мы не могли понять, какие у нас уже собраны фичи, где они находятся, какие данные они потребляют. Не найдя решение на рынке, мы построили своё.

    YouTube

  • Клуб CDO

    Cloudera launches its all-in-one SaaS data lakehouse

    Big data service Cloudera today launched Cloudera Data Platform (CDP) One, its new data lakehouse as a service offering.

    TechCrunch

  • Клуб CDO

  • Реклама

  • Клуб CDO

    Друзья! Мы рады объявить, что 6-я конференция по Искусственному интеллекту OpenTalks.AI пройдет 15-17 марта 2023 в Москве! Если Вы хотите выступить на ней, подавайте заявку на доклад или панельную сессию на конкурс. Все заявки отбираются Программным комитетом. Дедлайн подачи заявки – 30 сентября 2022 года 23:59. Вы можете оставить несколько заявок на разные темы и в разные секции. Подробная информация, форма подачи заявки на доклад и условия участия здесь: https://opentalks.ai/ru/callforproposals P.S. Чем раньше Вы подадите заявку на доклад, тем больше шансов получить по ней обратную связь и доработать!😎

  • Клуб CDO

    Artificial General Intelligence Is Not as Imminent as You Might Think

    A close look reveals that the newest systems, including DeepMind’s much-hyped Gato, are still stymied by the same old problems

    Scientific American

  • Клуб CDO

    Довольно хорошая статья про Data Mesh Как минимум, четко зафиксированы и раскрыты основные важные принципы: - Principle of Domain Ownership - Principle of Data as a Product - Principle of the Self-Serve Data Platform - Principle of Federated Computational Governance Отдельно по последнему принципу приведу перевод: "Но зачем стремиться к управлению вычислениями, а не только к управлению данными? Потому что управление данными слишком ограничено. Даже когда вы включаете метаданные в свое управление (а вы, конечно, это делаете), вы все равно упускаете всю экосистему вычислительных ресурсов, связанных с вашими системами. В современном облачном мире вы должны учитывать гораздо больше активов. Имеет смысл перейти от данных к управлению вычислениями. Ваша команда по управлению данными создает политики, применимые ко всей организации, которым будет следовать команда домена для достижения согласованности и соответствия требованиям на уровне предприятия. Тем не менее, команда домена владеет локальным управлением на квантовом уровне, максимально используя опыт команды." В общем управление инфраструктурой не менее важно, чем управление данными. medium.com/paypal-…4b825522
    The next generation of Data Platforms is the Data Mesh

    Here’s why.

    Medium

  • Клуб CDO

    Самые интересные нейросети открытого доступа

    К началу 2020-х годов нейросети успели с переднего края научных разработок проникнуть в сферу общедоступных интернет-развлечений. В наши дни каждый может поэкспериментировать с генерацией текстов или...

    Хабр

  • Клуб CDO

    Дайджест статей 20/08/2022 Why Building an External Data Product Is So Hard dzone.com/article…-so-hard Сценарии применения Greenplum PXF для интеграции с Data Lake, OLTP, Clickhouse https://habr.com/ru/company/otus/blog/682990/ How Customer Data Integration Can Take Your Business to the Next Level www.datasciencecentral.com/custome…egration How to Implement a Data Privacy and Protection Strategy for Remote Teams www.datasciencecentral.com/how-to-…te-teams Why Is Data Loss Prevention is Crucial for Business? www.smartdatacollective.com/why-is-…business В чём различия между Data Science, машинным обучением, ИИ, глубоким обучением и Data Mining https://habr.com/ru/post/682932/ Creating a Secure Distributed Database Cluster Leveraging Your Existing Database Management System www.infoq.com/article…-cluster Why Kappa Architecture for processing of streaming data. Have competence to superseding Lambda Architecture? dataview.in/kappa-a…ing-data
    Why Building an External Data Product Is So Hard

    Developing an external data product is different and, let's face it, more complex than serving internal customers.

    DZone

  • Клуб CDO

    TSMC начнет выпускать 3-нм чипы в сентябре Компания TSMC начнет массовое производство чипов, выполненных по 3-нм техпроцессу, в сентябре этого года. Компания обещает заметный прирост как в мощности, так и в энергоэффективности. Ключевые клиенты TSMС, включая Apple и Qualcomm, получат свои процессоры в начале 2023 года. Как правило, TSMС начинает массовое производство новых микропроцессоров весной, что было обусловлено требованиями главного клиента — компании Apple, которая презентует новые поколения iPhone в сентябре каждого года. Но разработка 3-нм чипов оказалась сложнее, чем предполагали в TSMC, поэтому в новых смартфонах Apple они появятся только в 2023 году. #чипы https://appuals.com/tsmc-3nm-production/
    TSMC to Start Production of 3nm Chips from September - Appuals.com

    According to a Commercial Times article quoting suppliers, TSMC will start mass producing chips in September utilizing its cutting-edge N3

    Appuals

  • Клуб CDO

    Пока мы уверенными шагами идём к 30 нм в 30-том году…. Извините

  • Клуб CDO

    В рубрике "чтение в пятницу" сегодня интересная статья про общение животны и про про попытке расшифровать их языки с помощью технологий ML www.theguardian.com/science…-animals
    Can artificial intelligence really help us talk to the animals?

    A California-based organisation wants to harness the power of machine learning to decode communication across the entire animal kingdom. But the project has its doubters

    the Guardian

  • Клуб CDO

    Несколько статей по теме тестирования систем машинного обучения. В материале раскрывается как выявлять проблемы и организовывать тестирование на темы: Тесты на лик Тесты на техническое качество данных Тесты на качество разметки Out-of-Distribution Detection Data Drift https://www.jeremyjordan.me/testing-ml/ https://eugeneyan.com/writing/testing-ml/
    Effective testing for machine learning systems.

    In this blog post, we'll cover what testing looks like for traditional software development, why testing machine learning systems can be different, and discuss some strategies for writing effective tests for machine learning systems.

    Jeremy Jordan

  • Клуб CDO

    Читаю тут популярную нынче книгу Рея Далио «Принципы изменения мирового порядка» Вот похоже самое полезное знание из нее :))) остальные практической ценности мало имеют :) www.mann-ivanov-ferber.ru/books/p…ld-order

  • Клуб CDO

    Изучил недавно опубликованную книгу. Довольно емкая и по сути представляет собой глоссарий основных терминов, походов и прочих аспектов, которые попадают в область Data Governance. Из того, на что особо обратил внимание: - постоянно подчеркивают важность людей и культуры в работе с данными - вот такие выделяют проблемы с качеством данных: Theft, Misuse, Data corruption - очень большой раздел с "доказательствами" что в Public Cloud делать Data Governance приятнее и проще, потому что: Data locality, Reduced Surface Area, Ephemeral Compute, Serverless and Powerful, Labeled Resources, Security in a Hybrid World - Интересно, что в область DG начали включать Identity and Access Management - Ingredients of Data Governance: People and Processes - звучит как лозунг! - Интересный список ролей и теперь роли называют "User Hats" - типа у одного пользователя может быть несколько ролей и в рамках разных процессов он может "надевать разные ролевые шапочки" :) - описывают особенности работы с данными в разных типах компаний (Cloud Native/Digital Only, Retail, Highly Regulated, Small Companies, Large Companies) - у термина DMP теперь есть новая расшифровка :) Data Management Plan - очень много про Data Protection Ну и интересное приложение: Google’s Internal Data Governance www.oreilly.com/library…92063483
    Data Governance: The Definitive Guide

    As you move data to the cloud, you need to consider a comprehensive approach to data governance, along with well-defined and agreed-upon policies to ensure your organization meets compliance requirements. … - Selection from Data Governance: The Definitive Guide [Book]

    O’Reilly Online Learning

  • Клуб CDO

    Data Mesh

    С чего началась наша компания? В первую очередь, конечно, с людей и с идеи. Как это обычно бывает, правильные люди абсолютно случайно познакомились друг с другом, и вот я здесь, сижу и пишу этот пост =) Была, однако, и ещё одна очень важная составляющая - данные. Любой ML-проект начинается с анализа ландшафта доступных данных - что мы можем скачать, выгрузить, разметить, купить. За четыре года наша культура работы с данными, инструментарий, подходы, процесс разметки претерпели очень большие изменения. Сейчас…

    Telegraph

  • Реклама

  • Клуб CDO

    Тотальные изменения 152-ФЗ О персональных данных

    1 сентября 2022 года вступают в силу поправки в 152-ФЗ О персональных данных. Изменения внесены Федеральным законом от 14.07.2022 N 266-ФЗ и носят самый масштабный характер с 2011 года. Можно...

    Хабр

  • Клуб CDO

    Какое-то время назад я писал анонс про книгу “Fundamentals of Data Engineering”. Книжку я в итоге купил, прочитал и я очень остался доволен. Впервые за долгое время было очень приятно читать книгу, в которой на базовом уровне описываются хорошие практики, про то, как все устроено и с какими проблемами сталкиваются DE и команды. А еще взгляды автора совпадали на некоторые аспекты и процессы совпадали с моими, приятно осозновать, что я практики, до которых я дошел самостоятельно или научился у других, оказываются, и правда хорошие. Спасибо моим учителям =) А теперь из прикольного: у ребят в datatalks.club в слаке есть канал book-of-the-week, где эту неделю автор книги отвечает на все вопросы. Советую заглянуть и почитать треды. @ohmydataengineer
    Труба данных

    https://www.amazon.com/Fundamentals-Data-Engineering-Robust-Systems/dp/1098108302/ Вот такая вот книженция от O’Reilly доступна для предзаказа на Amazon. Будет выпущена в июле/августе. Автор: https://www.linkedin.com/in/josephreis/

    Telegram

  • Клуб CDO

    Масштабируемые данные. Лучшие шаблоны высоконагруженных архитектур

    Архитекторы и аналитики данных узнают как создать современную масштабируемую архитектуру, которую вы можете вводить поэтапно без больших инвестиций.

    www.piter.com