Исследование Google: тренды машинного обучения 2021 Небольшое саммари недавнего исследования Google об основных трендах в машинном обучении Тренд 1. Более мощные модели ML общего назначения - Тут, в частности интересно "Многие из таких передовых моделей показали удивительную способность к генерализации, которая позволяет выполнять новые языковые задачи. В качестве примера можно рассмотреть нашу технологию LaMDA, в которой модель демонстрирует нетривиальную способность вести открытый диалог, не теряя нити беседы даже при многократной смене темы." - явно очень интересная тенденциях в NLP и следующий шаг в диалоговых моделях. - Трансформеры всех побеждают. - Кроме передовых одномодальных моделей начинают появляться и крупномасштабные мультимодальные. Тренд 2. Повышение эффективности машинного обучения - Чипы для ML становятся все более эффективными - Тензорные процессоры рулят - Улучшаются и оптимизируются не только железо но и компиляторы и библиотеки - Повышение производительности за счет использования "разреженности" - Разреженность подразумевает, что при обучении на примере либо на фрагменте данных или при выполнении определенной задачи активируется лишь наиболее подходящая для этого часть высокоемкой модели. Тренд 3. Машинное обучение становится все более полезным как для человека, так и для общества в целом Тенденция 4. Растущее влияние машинного обучения на науку, здравоохранение и экологию Тенденция 5. Более глубокое и широкое понимание ИИ - тут, в частности, отмечается использование DL в задачах по разработке рекомендательных систем - повышение доступности наборов данных для обучения ИИ russia.googleblog.com/2022/01…021.html