Не так давно прошла одна из наиболее популярных международных конференций по AI в мире – NeurIPS (Neural Information Processing Systems). В этом году она состоялась в 36-й раз. Наша команда подготовила краткое саммари конференции, которым хочу поделиться с вами. Статистика по публикациям - Из 10 411 поданных на конференцию статей было принято 2 905, или 28%. Страны-лидеры по числу публикаций: США (58%), Китай (19%), Великобритания (6%) и Швейцария (3%). Как и в прошлом году лидирует США, Китай удерживает вторую позицию, на 3м месте Великобритания. - Вузы-лидеры по числу публикаций: University of California (13%), Tsinghua (7%), Stanford (5%), Carnegie Mellon (5%) и MIT (4%). - Компании-лидеры по числу публикаций: Google (6%), Microsoft (4%), IBM (3%), Nvidia (2%) и DeepMind (2%). Наиболее популярные темы исследований (приходится около 60% статей) - Reinforcement learning - тема снова набирает популярность, просев в прошлые два года - Transformers - сильный рост популярности обусловленный во многом научным хайпом вокруг генеративныхM3-моделей - GNN - исследования в области графовых нейронных сетей становятся более популярными с прикладной точки зрения, прежде всего за счет снижения стоимости необходимых вычислительных мощностей - Knowledge Distillation – технология позволяет существенно уменьшать объем реальных данных для обучения за счет обогащения выборки синтетическими данными - Adversarial Learning – это совокупность методов и подходов к изучению атак на алгоритмы машинного обучения и способов защиты от них - Training Optimization – методы и подходы оптимизации процесса обучения в смысле снижения вычислительных ресурсов и повышения скорости сходимости процедур обучения Key takeaways - Россия несколько подтянулась по числу публикаций в этом году относительно европейских стран, Японии, Кореи и Сингапур (прежде всего за счет публикаций Сбера/AIRI и двух вузов – Сколтеха и ВШЭ при сокращении активности Яндекса). Однако, отрыв США и Китая, а также крупнейших университетов UC и Tsinghua от остальных участников с годами только нарастает. - Обзор топовых статей на NeurIPS начинает отставать от анализа технологически анонсов Бигтех компаний: так, например, тренд на обучение диффузионных моделей для задач генерации контента стал очевиден уже в мае-начале лета, но с учетом длительного процесса ревью статей на NeurIPS соответствующие статьи появились только в декабре (например, про Imagen от Google). - Ряд топовых компаний выбирает стратегию вообще не публиковать статьи о своих SoTA разработках. Ярким примером является компания OpenAI – от них всего опубликовано 2 статьи.