Самый быстрый суперкомпьютер в мире побил рекорд искусственного интеллекта


На западном побережье Америки самые ценные компании мира пытаются сделать искусственный интеллект умнее. Google и Facebook хвастают экспериментами с использованием миллиардов фотографий и тысяч высокопроизводительных процессоров. Но в конце прошлого года проект в восточной части штата Теннесси незаметно превзошел масштабы любой корпоративной лаборатории искусственного интеллекта. И он был под управлением правительства США.
Правительственный суперкомпьютер США бьет рекорды
В рекордном проекте участвовал самый мощный в мире суперкомпьютер Summit, находящийся в Национальной лаборатории Ок-Ридж. Эта машина получила корону в июне прошлого года, вернув США титул спустя пять лет, когда список возглавлял Китай. В рамках проекта исследования климата гигантский компьютер запустил эксперимент по машинному обучению, который протекал быстрее, чем когда-либо прежде.
«Саммит», занимающий площадь, эквивалентную двум теннисным кортам, задействовал в этом проекте более 27 000 мощных графических процессоров. Он использовал их мощность для обучения алгоритмов глубокого обучения,  той самой технологии, которая лежит в основе передового искусственного интеллекта. В процессе глубокого обучения алгоритмы выполняют упражнения со скоростью миллиард миллиардов операций в секунду, известной в суперкомпьютерных кругах как экзафлоп.
«Ранее глубокое обучение никогда не достигало такого уровня производительности», говорит Прабхат, руководитель исследовательской группы в Национальном научно-вычислительном центре энергетических исследований в Национальной лаборатории имени Лоуренса в Беркли. Его группа сотрудничала с исследователями в штаб-квартире «Саммита», Национальной лаборатории Ок-Ридж.
Как можно догадаться, тренировка ИИ самого мощного в мире компьютера была сосредоточена на одной из самых больших проблем в мире — изменении климата. Технологические компании обучают алгоритмы распознавать лица или дорожные знаки; правительственные ученые обучили их распознавать погодные условия вроде циклонов по климатическим моделям, которые сжимают столетние прогнозы атмосферы Земли в три часа. (Непонятно, правда, сколько энергии затребовал проект и как много углерода было выброшено в воздух в этом процессе).
Эксперимент Summit имеет значение для будущего искусственного интеллекта и климатологии. Проект демонстрирует научный потенциал адаптации глубокого обучения к суперкомпьютерам, которые традиционно моделируют физические и химические процессы, такие как ядерные взрывы, черные дыры или новые материалы. Это также показывает, что машинное обучение может извлечь выгоду из большей вычислительной мощности — если вы сможете ее найти — и обеспечить прорывы в будущем.
«Мы не знали, что это можно сделать в таком масштабе, пока не сделали это», говорит Раджат Монга, технический директор Google. Он и другие «гугловцы» помогали проекту, адаптировав программное обеспечение машинного обучения TensorFlow с открытым исходным кодом компании для гигантских масштабов Summit.
Большая часть работы по масштабированию глубокого обучения проводилась в центрах обработки данных интернет-компаний, где серверы работают совместно над проблемами, разделяя их, потому что расположены относительно разобщенно, а не связаны в один гигантский компьютер. Суперкомпьютеры же вроде Summit имеют другую архитектуру со специализированными высокоскоростными соединениями, связывающими их тысячи процессоров в единую систему, которая может работать как единое целое. До недавнего времени проводилось относительно мало работ по адаптации машинного обучения для работы с такого рода аппаратными средствами.
Монга говорит, что работа по адаптации TensorFlow к масштабам Summit также будет способствовать усилиям Google по расширению ее внутренних систем искусственного интеллекта. Инженеры Nvidia также поучаствовали в этом проекте, убедившись, что десятки тысяч графических процессоров Nvidia в этой машине работают без сбоев.