Клуб CDO. Страница 18
1243
@cdo_club
Сообщество профессионалов в области работы с данными и ИИ
-
Клуб CDO
Приходите :) -
Клуб CDO
Наверное самый громкий материал этой недели - критика бизнес-результатов Alexa и масштабные сокращения этого подразделения в Amazon. Многие авторы делают обобщения, приравнивая экономику всех виртуальных ассистентов на рынке к этому кейсу, хотя имхо это не совсем правильно. Хотя есть и общие проблемы и задачи, бизнес-модель каждого ВА на рынке несколько отличаются, тк исходят из бинес-модели материнской компании. apptractor.ru/info/ar…lrd.html -
Клуб CDO
ИИ, который хитрит, строит планы, ведёт переговоры и вступает в союзы лучше чем человек - это про Cicero. Новая разработка ИИ-команды Фейсбука показала рекордные результаты. Её проверяли в сложной, чисто "человеческой" игре Diplomacy против живых людей. Выиграть можно только договариваясь с другими игроками. Для этого нужно а) уметь разговаривать б) иметь стратегическое видение. И то и другое научили делать Cicero. В чём прорыв? а) Впервые ИИ участвовал в открытом диалоге, без предзаданных вопросов и ответов б) Модель оценивала выгоды для других участников, чтобы делать им предложения в) Модель оценивала вероятности поведения других игроков и генерировала речь на основе этого прогноза. Это очень важное соединение, это главный прорыв. Очень прикольные примеры диалогов. Хотя в сегодняшней ситуации разговор про раздел Европы выглядят стрёмно. Код будет открытым. А одно из применений - переговоры от лица человека. Я давно мечтаю натравить ИИ на разговор, например, с агентами по недвижимости. 
-
Реклама
-
Клуб CDO
Дайджест статей 27/11/2022 Что я бы хотел знать про ML System Design раньше https://habr.com/ru/company/ods/blog/698698/ The Distributed Data Problem dzone.com/article…-problem Model Drift in Computer Vision Models: Understanding the Problem dzone.com/article…rstandin Data Centricity and a Data Farming Mentality www.datasciencecentral.com/data-ce…entality How Big Data Technology Helped Fight The Pandemic www.smartdatacollective.com/how-big…pandemic What Is the Difference Between Data Compliance and Data Privacy? dzone.com/article…ance-and -
Клуб CDO
Отставание России от США в области ИИ уже колоссально. А через несколько лет оно увеличится до трёх километров. Так уж получилось, что прогресс в области ИИ во многом определяется наличием огромных вычислительных мощностей, требуемых для обучения гигантских нейросетей-трансформеров. Грег Брокман (соучредитель и СТО OpenAI) формулирует это так: «Мы думаем, что наибольшую выгоду получит тот, у кого самый большой компьютер». Я уже демонстрировал, насколько критично наличие мощного компьютинга для обучения Больших моделей в посте «Есть «железо» - участвуй в гонке. Нет «железа» - кури в сторонке». Место России на карте мира по вычислительной мощности суперкомпьютеров более чем скромное. В списке ТОР500 суперкомпьютеров на этот год у США 149 систем, а у России 7. При этом, только одна из систем США по своей производительности превышает производительность всех российских систем (см. мой пост). Председатель оргкомитета суперкомпьютерного форума России, д.ф.м.н, член-корр. РАН Сергей Абрамов оценивает отставание России от США в области суперкомпьютинга примерно в 10 лет. Но в области обучения больших моделей для ИИ-приложений ситуация еще хуже. Здесь мало вычислительной мощности обычных серверов и требуются специальные ускорители вычислений. Спецы по машинному обучению из Яндекса это комментируют так. «Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет. Но хорошая новость в том, что задача обучения легко параллелится, и если задействовать хотя бы 256 тех же самых V100, соединить их быстрым интерконнектом, то задачу можно решить всего за две недели.» Поэтому, показатель числа GPU-ускорителей в вычислительных кластерах разных стран (общедоступных, частных и национальных) позволяет оценивать темпы развития систем ИИ в этих странах. Актуальная статистика данного показателя ведется в State of AI Report Compute Index. Состояние на 20 ноября приведено на приложенном рисунке, куда я добавил данные по пяти крупнейшим HPC-кластерам России (разбивка по public/private – моя оценка). Из рисунка видно, что обучение больших моделей, занимающее на HPC-кластере всем известной американской компании дни и недели, будет требовать на HPC-кластере Яндекса месяцев, а то и лет. Но это еще не вся беда. Введенные экспортные ограничения на поставку GPU-ускорителей в Россию и Китай за несколько лет многократно увеличат отрыв США в области обучения больших моделей для ИИ-приложений. И этот отрыв будет измеряться уже не годами и даже не десятилетиями, а километрами, - как в старом советском анекдоте. «Построили у нас самый мощный в мире компьютер и задали ему задачу, когда же наступит коммунизм. Компьютер думал, думал и выдал ответ: "Через 3 километра". На требование расшифровать столь странный ответ компьютер выдал: — Каждая пятилетка — шаг к коммунизму.» #ИИ #HPC #Россия #ЭкспортныйКонтроль 
-
Клуб CDO
-
Клуб CDO
-
Клуб CDO
-
Клуб CDO
В России создали первую мультиязычную диффузионную модель для генерации изображений по тексту. Как вы думаете, чья она? Два дня мы смотрели трансляцию международной конференции AI Journey. Вот итоги, которые мы выделили. 1. Президент РФ поручил внести изменения в нормативные акты, чтобы снять существующие барьеры и ускорить разработку, апробацию и промышленное внедрение перспективных технологий ИИ в различных областях экономики и социальной сферы. 2. С 1 января 2023 года при покупке и внедрении отечественных ИИ-решений бизнес сможет воспользоваться налоговыми льготами. Например, при расчете налога на прибыль не будет учитываться сумма, в полтора раза превышающая фактические расходы компании на приобретение российских разработок 3. По мнению Германа Грефа, главный тренд этого года — кастомизация или очень простое применение промышленного искусственного интеллекта. 4. По оценке правительства, экономический эффект от внедрения ИИ в России в 2021 году превысил 300 млрд рублей. В отдельных сферах в крупных и средних компаниях ИИ уже интегрирован в 20% процессов. 5. Сбер представил Kandinsky 2.0 — первую российскую мультиязычную диффузионную модель для генерации изображений по текстовому описанию с 2 млрд параметров. Модель способна одинаково быстро и качественно обрабатывать запросы на 101 языке. 6. В Альянс в сфере ИИ присоединились новые участники — «Сибур», «Уралхим», «Русагро», «Северсталь» и «Самолёт». 7. 12 компаний подписали Кодекс этики в сфере ИИ — это Datanа, Factory 5, GlobalTruck, «ГеомирАгро», Цифровая платформа «КАМАЗ», «Медси», «Самолёт», «Сибур», «Северсталь Менеджмент», РЖД, «Русагро Технологии» и «Уралхим». Таким образом, общее число подписантов кодекса достигло 113. Над Кодексом работают компании на площадке Альянса в сфере ИИ совместно с представителями науки, при поддержке Минэкономразвития РФ и Аналитического центра при Правительстве РФ. 8. Анонсирован старт первого в стране исследования современной российской системы подготовки специалистов в области науки о данных и машинного обучения (DS/ML), которое проведёт Альянс в сфере ИИ. Конференция AIJ 2022 вновь стала крупнейшим в мире научным событием в сфере ИИ: за два дня мероприятие набрало более 50 млн просмотров из более чем 180 стран. -
Клуб CDO
Вопрос аудитории - а что такие знает сервисы управления ценами на маркетплейсах? что бы анализировали автоматически конкурентную среду и на базе ML выдавали оптимальные цены на товар? -
Клуб CDO
Крупные вендоры последнее время активно начали заниматься темой монетизации foundation models и вот еще один кейс. Тренировка и разработка таких моделей стоят огромного количества денег, а вот практического смысла в них не так много и раскрываться он может только за счет применения этих моделей в прикладных сервисах и продуктах, за счет чего они могут получать новы возможности и повышать собственную привлекательность для конечного потребителя. Поэтому вендоры (такие, как Google и Mocrosoft) не только встраивают такие модели в свои собственные продукты, но и открывают API для сторонних разработчиков. www.theverge.com/2022/11…ta-price -
Клуб CDO
И немного о классике :) https://habr.com/ru/post/698180/ -
Клуб CDO
Вышла наша новая моделька для генерации картинок по тексту: Kandinsky 2.0 Между прочим, первая в мире мультиязычная text2image. Совместный проект Sber AI, AIRI и SberDevices (на нас тут, в основном, была дата-инженерия и немного инфраструктурных вещей). Это диффузионка, как и DALL-E 2, Stable Diffusion и все эти ваши Midjourney. Попробовать модельку можно, как всегда, на rudalle.ru, на умных устройствах Сбера (или в приложении «Салют» — по команде «Запусти художника») либо, если хотите поиграться с inpainting, то на fusionbrain.ai В «Салюте» у вас, традиционно, будет VIP-очередь — генерироваться будет побыстрее. Ссылка на «Салют»: https://sberdevices.ru/app Технические подробности в посте на Хабре: habr.com/ru/comp…g/701162 Официальный пресс-релиз тут: press.sber.ru/publica…iazykakh 
-
Клуб CDO
-
Клуб CDO
Небольшой ликбез про архитектурные шаблоны построения ПО. Вдруг кому то пригодится :) https://habr.com/ru/company/ruvds/blog/699648/ -
Реклама
-
Клуб CDO
И сразу еще статья про платформу геоданных от компании Платформа. habr.com/ru/comp…g/698326 -
Клуб CDO
🤖 Ключевая Международная конференция по искусственному интеллекту и машинному обучению AI Journey снова в эфире 23-24 ноября! Подключайтесь к трансляции онлайн и узнавайте о мире, в котором искусственный интеллект станет частью нашей повседневной жизни. На конференции будут представлены пять тематических треков: AIJ Science, AIJ Junior, AI4ESG, Science & Industries, Science & Business. Основные их темы: • Мультимодальные, мультиязыковые, генеративные модели, трансформеры и новые архитектуры • Исследования российских и международных технологических центров • Применение AI в области ESG и устойчивого развития • Лучшие практики и кейсы использования AI в бизнесе • Внедрение разработок AI/ML в разных отраслях • Этические аспекты применения AI • Воркшопы, демо, мастер-классы и интерактивы для молодежи Смотрите выступления топовых российских и международных экспертов по искусственному интеллекту. 👉Следить за конференцией можно бесплатно на сайте. Регистрация не требуется. 
-
Клуб CDO
Кейс по использованию данных для улучшения качества принятия решений по выбору места для установки банкоматов от банка ПСБ https://habr.com/ru/company/psb/blog/698888/