Клуб CDO. Страница 28
1243
@cdo_club
Сообщество профессионалов в области работы с данными и ИИ
-
Клуб CDO
Немного подробностей про нашу новую возможность разделения спикеров, которую наша команда реализовала в платформе генерации и распознавания речи SmartSpeech. Надеюсь будет интересно почитать habr.com/ru/comp…g/684228 -
Клуб CDO
Очень много подробностей про Data центр Google. И много фоток :) Несколько интересных моментов из статьи: - На строительство собственного дата-центра в Дугласе Google потратил 1,2 миллиарда долларов, создав около 500 рабочих мест для его дальнейшего обслуживания. - Для уменьшение нагрузки на естественное водоснабжение округа часть воды забирается из сточных вод Дугласа - дата-центры потребляют до 1,5% всей электроэнергии в мире - Дата-центр в Южной Каролине один из самый дорогих и нестандартных ЦОД компании. Чтобы уменьшить нагрузку на водоснабжение округа Google собирает дождевую воду в небольшой пруд и использует ее в системе охлаждения. - Для очищения водоема от цветущих водорослей компания экспериментировала с «телапией» — пресноводной рыбой, питающейся водными растениями. - Особенность ЦОДа в Тайване в том, что он аккумулирует ночную электроэнергию в холодных батареях со льдом или хладагентом, после чего использует ее днем для охлаждения серверов. - Официальных данных о том, сколько серверов находится в распоряжении Google нет. По предположениям Gartner, компании технологических исследований, на момент 2016 года Google владела 2,5 миллионами серверов - В 2011 году произошел крупный сбой Gmail. Потерянные письма 40 000 пользователей были восстановлены из ленточных библиотек Oracle StreamLine 8500 с использованием дисков Linear Tape-Open (LTO). Google использует ленточные накопители для создания резервных копий - Компания утверждает о существовании 6 уровней безопасности, которые направлены на защиту пользовательских данных и сокрытие определенных технологических решений компании. https://habr.com/ru/company/first/blog/683926/ -
Клуб CDO
Если вы сталкивались с отображением большого объема данных в интерфейсе пользователя - то будет полезно почитать эту статью. С одной стороны материал немного не про Data Management, а про разработку, тем нее менее вопрос довольно актуальный для работы с большими объемами данных. habr.com/ru/comp…g/678202 -
Реклама
-
Клуб CDO
А на следующей неделе, у нас будет в каком-то смысле продолжение и расширение темы A/B, а именно 7 сентября планируем собраться на очный митап по теме Causal Inference⚡️🚀🔥 Темы и спикеры: 📌 Введение в методы Causal Inference 😎 Полина Окунева, 😎 Наталья Тоганова, Эксперты команды Advanced Analytics в GlowByte 📌 Кейс применения Synthetic Control для оценки инициатив 😎 Артем Александрин, Дата аналитик мобильного приложения “Моя Москва” 📌 Дискуссия: “за”, “против”, а также сложности и причины сомнений в Causal Inference Упомянутые выше докладчики, а также: 😎 Ирина Голощапова, Head of Data Science, Лента 😎 Александр Толмачев, Head of Analytics Ozon.Fintech 😎 Антон Григорьев, Руководитель службы аналитических инструментов Яндекс Доставки Сбор гостей в 17:30. На этот раз мы решили облегчить организацию митапа, подумали, что лучше будем делать проще но чаще) Собираемся в пространстве для проведения мероприятий в офисе GlowByte, там очень уютно, но ограничено количество мест❗️ Так что спешите зарегистрироваться, после достижения определенного количества желающих, регистрация будет очень резко вырублена🪓🪓🪓 ‼️Ссылка на форму для регистрации тут<b>→ 📺🚫🙅♂️ Онлайн трансляции не будет, но будет запись ✅ Запись появится в нашем канале спустя пару дней, так что если вы точно не можете поучаствовать очно, регистрироваться не надо:) После докладов нас как обычно ждет небольшой фуршет и неформальное общение 🍕🍺🍕🍺 -
Клуб CDO
Коллеги, обратите внимание на мероприятие -
Клуб CDO
В копилку полезностей - нашел новый сервис для чтения RSS (ранее пользовался feedly) "Inoreader". Очень приятный интерфейс, удобно читать ленты (слева лента, справа открывается статья), удобное управление папками/подписками, а самое главное - можно читать не только RSS, но и подписываться на: - Telegram каналы (вообще мега фича, потому что в телеге сложно делать "отложить на потом") - Почтовые рассылки - Youtube каналы - Twitter ленты - Facebook страницы - Reddit обсуждения и тп В общем прям все что можно в одном месте https://www.inoreader.com/ -
Клуб CDO
Вышла новая статья на тему распределенного обучения: Federated disentangled representation learning for unsupervised brain anomaly detection www.nature.com/article…-00515-2 -
Клуб CDO
У ребят из Datafold еще в июле вышла прекрасная статья - https://is.gd/l4oNaY. Основной фокус в статье можно описать одним предложением: *Rather than building systems that detect and alert on breakages, build systems that don’t break.* Observability это хорошо, очень хорошо. Но если вы в день видите 24 уведомления о том, что у вас кривые данные, весь ваш день будет потрачен на то, чтобы эти кривые данные поправить. Так может стоит инвестировать в то, чтобы строить то, что не ломается? Например, тесты, data lineage, data diff. Про это в статье как раз речь. Мы имеем свойство переоценивать количество проблем с данными, которые приходят снаружи, и существенно недооцениваем количество наших собственных косяков. Основные драйверы этой проблемы 1. Данные это сложно – чтобы писать нормальный код, нужно знать очень многое про модель и про то, какие данные туда приходят, как они туда приходят, какое распределение у них и так далее. 2. Нам еще и бизнес-логики туда накрутили - SQL в тыщу строк? Легко! 3. Поставщики данных не спят и развиваются - платформы данных должны успевать за всеми изменениями поставщиков данных, а их много и они развиваются с огромной скоростью. Нас ждать не будут. 4. Быстрее, быстрее, быстрее! - стейкхолдеры ждут свои дашборды, чтобы принимать решения. Тут все старо как мир. Статью советую взглянуть, вещи хоть и относительно простые и очевидные написаны, но очень важные. P.S. Datafold делает тулзу для DQ и опытный человек мог заметить UTM-ссылку, можно сказать, что я аффилирован! Опять же, мне никто за это не платит, с ребятами я знаком давно и лично, когда-то, даже, когда их было всего 5-7 человек, мы с ними поработали вместе несколько месяцев. Мне нравится, что и как они делают. Глеб, привет! @ohmydataengineer -
Клуб CDO
хороший пост в соседнем канале -
Клуб CDO
Начните понедельник правильно! - не пейте, если вам больше 70 лет - спите днем - без промедления решайте проблемы со слухом и зрением особенно много комментариев там под статьей :) https://habr.com/ru/post/684722/ -
Клуб CDO
-
Клуб CDO
Основатель нашего канала Ани Асланян КоммерсантЪ ФМ рассказала о возможных последствиях слияния Ethereum https://t.me/kfm936/13444 Коммерсантъ FM Крипта пересматривает алгоритмы Криптовалюта Ethereum меняет протокол операций. Это сократит потребление электричества на 99% и изменит процесс майнинга. График перехода в конце недели опубликовала компания Ethereum Foundation. Старт основного этапа намечен на 10 сентября. Сейчас Ethereum работает по привычному алгоритму Proof-of-Work, где за решение задач с помощью мощных компьютеров даются токены. В новом протоколе добавлять блоки в блокчейн и проверять транзакции будут доверенные лица. Их выберут случайно из тех, кто внес $60 тыс. или 35 монет «эфира». 💬 Станислав Тэо, основатель проекта TNFT: «Если мы говорим про Proof-of-Stake, майнить можно фактически на мобильном телефоне. Европейский союз разрабатывает пакет документов, касающийся криптовалюты. Там значительную часть занимал законопроект, касающийся запрета в обращении в ЕС криптовалют, которые не eco-friendly. Теперь криптовалюты будут меньше требовать покупки дорогостоящего оборудования. Ethereum станет более выгодной с точки зрения осуществления…
-
Клуб CDO
В мире blockchain скоро произойдет эпохальное событие. Переход ethereum на алгоритм консенсуса proof of state. Думаю что разобраться что это такое лучше Ани Асланян никто не поможет :) -
Клуб CDO
Дайджест статей 27/08/2022 От сбора до использования: как повысить Data Quality на всех этапах работы с данными https://habr.com/ru/company/vk/blog/684118/ Как организовать потоковую обработку данных. Часть 1 https://habr.com/ru/company/ru_mts/blog/684476/ Как анализировать данные из облачных сервисов для автоматизации бизнеса https://habr.com/ru/post/684418/ What is a Data Quality Framework and How to Implement it? www.datasciencecentral.com/what-is…ramework Cloud Data: Observability Is the Forgotten Data dzone.com/article…ten-data -
Клуб CDO
Data Quality - старо как мир, а вот термин Data Observability достаточно свежее, хотят обозначает monitoring/alerting на основе data validations правил (недавно шарил python код). Есть и популярные решения как monte carlo b data fold. Я как раз использую monte carlo для Snowflake. 
-
Реклама
-
Клуб CDO
Еще вот статья на важную тему ответственности за защиту пользовательских данных habr.com/ru/comp…g/683132 -
Клуб CDO
Команда рекомендательных систем МТС BigData перенесли часть библиотеки для рекомендательных систем RecTools в opensource. C помощью библиотеки можно легко и быстро сделать пайплайн для рекомендаций в любом сервисе. https://github.com/MobileTeleSystems/RecTools -
Клуб CDO
Немного подробностей о том как устроена платформа работы с данными в компании Criteo - одной из ведущих компаний на рынке AdTech medium.com/criteo-…b0d8d78a