Клуб CDO. Страница 16
1243
@cdo_club
Сообщество профессионалов в области работы с данными и ИИ
-
Клуб CDO
-
Клуб CDO
Перевод статьи журнала Computer от InfoQ & IEEE Computer Society CAP теорема - фундаментальная концепция, лежащая в основе всех технологий BigData и всех масштабируемых систем обработки данных. Теорема CAP гласит, что любая сетевая система с общими данными может иметь только два из трех желаемых свойств. Однако, работая непосредственно с разделениями, разработчики могут оптимизировать согласованность и доступность, тем самым достигая некоторого компромисса между всеми тремя. За десятилетие, прошедшее с появления теоремы, разработчики и исследователи использовали теорему CAP (а иногда и злоупотребляли ею) как повод для изучения широкого спектра новых распределенных систем. Движение NoSQL также использовало её в качестве аргумента против традиционных баз данных. Технологии сильно изменились и развились, поэтому те ограничения, о которых говориться в CAP сейчас выглядят несколько по другому и компромиссы, на которые приходится идти - изменились. https://habr.com/ru/company/timeweb/blog/701492/ -
Клуб CDO
Посмотрите какой прикольный отчет с красивой инфографикой от McKinsey https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai-in-2022-and-a-half-decade-in-review?utm_campaign=Denis%20Afanasevpu.newsletter._free._108._biznes_idei&utm_medium=email&utm_source=Sendsay -
Реклама
-
Клуб CDO
📣 Представляем номинантов на премию Data Award 2023! ✔️Елена Фатыхова, руководитель направления поддержки и сопровождения платформы прогнозирования X5 и номинант на премию Data Award 2023, – о запущенных продуктах на базе платформы прогнозирования, позволяющих бороться с нежелательными событиями в магазинах и оптимизировать расчет объема промо-товаров. cio.osp.ru/article…ya-polok -
Клуб CDO
Коллеги, привет! Еще есть одно объявление о вакансии - в международный проект по создания биржи крипто активов для корпоративных клиентовтребуется крутой С++ разработчик. Задача состоит в разработке с нуля всей трейдинговой платформы, работающей в реальном времени под высокой нагрузкой и обрабатывающей миллиарды заявок в день. И в перспективе и платформу глубокой аналитики этих данных. Разработка на C++ с использованием multi-threading, прямой работы с CPU, RMDA. Из требований: понимание особенностей построения распределенных систем (обмен сообщениями, консистентность, vector clocks и тд), хрошоее знание С++, работа с памятью. Проект не в России, но работа может быть из любой локации, команда небольшая и планирует оставаться небольшой (5-10 человек). Кому интересно, пишите мне напрямую (@shamansw), я поделюсь деталями. -
Клуб CDO
Статья от компании Neoflex, про разработанную ими систему контроля качества данных, поступающих в Data Lake. Так же в статье коллеги описывают и общие вопросы обеспечения качества данных и важность этой функции во всей цепочке обработки данных. https://habr.com/ru/company/neoflex/blog/700118/ -
Клуб CDO
Совсем недавно вышла бета версия библиотеки TorchMultimodal (ссылка), в которой авторы постарались собрать все лучшие техники и фичи обучения SoTA мультизадачных мультимодальных (М2) архитектур: •слои, обработчики для разных модальностей, лосс функции (Contrastive Loss, Codebook слои, Shifted-window Attention, Components for CLIP, Multimodal GPT, Multi Head Attention)•SoTA архитектуры (FLAVA, DETR, …)•скрипты обучения и инференса•примеры использования Всё это позволит ставить быстрые и удобные эксперименты для обучения М2 моделей. В довесок авторы сделали интересный пост о распределённом обучении (ссылка), где на примере модели FLAVA (мультимодальный late fusion трансформер) показали, как можно её масштабировать с 350M параметров до 10B. Рассмотрели два ключевых подхода: 1. Distributed Data Parallel - нарезка датасета по воркерам, градиенты синхронизируются ДО обновления весов, по сути вся модель «реплицируется» 2. Fully Sharded Data Parallel - параметры, градиенты и состояния оптимизатора нарезаются (шардируются) по воркерам (а-ля ZeRO-3), перед forward и backward propagation шарды объединяются. Сравнение производительности (среднее число сэмплов в секунду за исключением первых 100 на warmup) можно оценить на графике. github статья про TorchMultimodal статья про Scaling Multimodal Foundation Models @complete_ai
-
Клуб CDO
-
Клуб CDO
Описание платформы Tulip - нового продукта от Meta для обмена данными между всеми система обработки данных, которые используются для аналитики. engineering.fb.com/2022/11…platform -
Клуб CDO
Британскую девочку-подростка удалось вылечить от лейкемии, применив новый тип терапии - так называемое редактирование оснований. https://bbc.in/3VPkOLq -
Клуб CDO
Вы знаете, новость совсем не про данные, но прочел с большим удовольствием. Приятно видеть, что человечество не до конца сошло с ума и все еще есть лучи надежды на светлое будущее науки :) Ну и конечно примененный метод редактирования генетических «инструкций» - мега перспективный и ведет к эффекту который я называю «управление эволюцией биологических видов». А если совместить эти успехи с трендом который сейчас мы наблюдаем в области генеративных моделей - становится еще более интересно. -
Клуб CDO
Дайджест статей 11/12/2022 Дельта BI глазами (и руками) разработчика Tableau https://habr.com/ru/post/702660/ Каким должен быть Feature Store, чтобы оптимизировать работу с ML-моделями habr.com/ru/comp…g/702416 Top 10 AI and Data Science Trends in 2023 dzone.com/article…e-trends Amazon увольняет всех рекрутеров. Их заменит ИИ https://habr.com/ru/company/first/blog/704330/ -
Клуб CDO
#Государство #Проект #ЕФИР #ФизическиеЛица Крайне важный отечественный проект по агрегации данных о населении России, как видится будущий важный компонент нашего национального Большого Брата. Название - Единый федеральный информационный регистр, ГИС ЕФИР. Статус - Разработка Оператор - ФНС РФ 📖 Содержание данных - информация о физических лицах: - Граждане России; - Иностранные граждане и лица без гражданства, временно или постоянно проживающие в России; - Иностранные граждане, временно пребывающие в Россию и осуществляющих трудовую деятельность; 📥 Источники данных - Паспортные данные гражданина; - Разрешение на временное проживание РФ для иностранных граждан; - Выдача разрешений на работу и патентов для иностранных граждан; - Сведения о гражданстве других государств для граждан РФ; - Постановка и снятие с воинского учета; - Учетная запись в ЕСИА; - Присуждении, лишение, восстановление ученой степени; - Присуждении, лишение, восстановление ученого звания; - Документы об образовании; - Постановка на учет в налоговые органы; - Регистрация физического лица в качестве ИП; - Выдача, приостановка, изъятие удостоверения личного моряка; - Постановка на учет в службе занятости; - Регистрация в системе обязательного пенсионного страхования; - Регистрация в Фонде социального страхования; - Сведения в Едином государственном реестре записей актов гражданского состояния; 📤 Потребители данных - Органы федеральной, региональной власти, субъекты местного самоуправления; - Государственные внебюджетные фонды; - МФЦ; - Избирательные комиссии; - Нотариусы; - Физические лица (в отношении составленных о нем сведений), через Единый портало Государственных Услуг; 👤 Идентификация - номер записи федерального регистра сведений о населении имеет следующую структуру (12 разрядный номер): 1-10 разряд - реализация последовательности 10 независимых случайных величин с равномерным на 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 и 10 распределением; 11-й разряд - контрольное число К1; 12-й разряд - контрольное число К2. 📅 Ключевые даты проекта 2020 - принятие нормативной базы для ГИС ЕФИР (Федеральный закон). 2026 - полная миграция на ГИС ЕФИР как юридически значимый источник данных о населении. -
Клуб CDO
Ефир грядет -
Клуб CDO
8 ярких примеров того, как на практике работает ChatGPT и заменяет людей ChatGPT пересек более 1 миллиона пользователей всего за 5 дней с момента появления. Многие еще не осознали весь его потенциал, в этом посте показываем реальные кейсы: 1. Может помочь вам сгенерировать код для создания приложения/сайта с 0, даже если вы вообще не умеете программировать. Тут подробно и тут. 2. Можно создать план похудения: подобрать питание и тренировки, тут пример. 3. Может стать вашим личным помощником. Интегрируйте ChatGPT с WhatsApp. Вот пример. 4. Может помочь вам создать маркетинговую / SEO-стратегию, провести аудит вашего сайта, провести исследование ключевых слов, написать статьи и многое другое — и все это за 30 минут(!!!) вот пример. 5. Сможет написать эссе, музыку, сценарии и шутки за вас, вот пример. 6. Создать работающий плагин WordPress с первой попытки. Тут пример. 7. 11-летний ребенок разработал игру, используя подсказки ChatGPT. Тысячи людей уже сыграли в нее. 8. Можете создать бота, работающего круглосуточно и без выходных, для поиска лечения медицинских проблем. Конечно, вам нужно проверить на предвзятость и дезинформацию. -
Реклама
-
Клуб CDO
А кто нибудь сам пробовал? -
Клуб CDO
Обновлен список самых мощных суперкомпьютеров в мире, ТОР 500 Лидирует Frontier из лаборатории Ок-Ридж в США, первая машина, которая преодолела экзафлопсный порог в миллиард миллиардов вычислений в секунду. Следом идет японский Fugaku из Центра RIKEN, он в два раза медленнее. На третьем месте LUMI из Финляндии (!), самый мощный суперкомпьютер в Европе, но скорость 'всего лишь' 309 петафлопс. А где же великий и ужасный Китай? — на седьмом месте, Sunway TiahuLight с 93 петафлопс, это 8% от производительности Frontier. https://top500.org/lists/top500/list/2022/11/ -
Клуб CDO
Коллеги, есть вакансия: Директор по данным (Chief Data Officer) в digital-компанию с фокусом на продуктовую аналитику (B2C). Основные задачи – совершенствование процессов в области управления данными на уровне всей компании, централизация и развитие функции продуктовой аналитики, развитие инфраструктуры и выбор прикладных решений, определение политик управления и безопасности данных, управление командой (до 10 человек). Кому интересно, держите связь с https://t.me/AlexanderAbramkin Александр Абрамкин Меняйте 🌍 с лучшими в своём деле…
