Поиск путей использования большей вычислительной мощности в алгоритмах глубокого обучения сыграл важную роль в текущем развитии технологии. Та же технология, которую использует Siri для распознавания голоса и автомобили Waymo для считывания дорожных знаков, стала полезной в 2012 году после того, когда ученые адаптировали ее для работы на графических процессорах Nvidia.
В анализе, опубликованном в мае прошлого года, ученые из OpenAI, исследовательского института в Сан-Франциско, основанного Илоном Маском, подсчитали, что объем вычислительной мощности в крупнейших публичных экспериментах с машинным обучением удваивается примерно каждые 3,43 месяца с 2012 года; это будет означать 11-кратное увеличение за год. Такая прогрессия помогла бота из Alphabet победить чемпионов в сложных настольных и видеоиграх, а также способствовала значительному повышению точности переводчика Google.
Google и другие компании в настоящее время создают новые виды микросхем, адаптированных под ИИ, чтобы продолжить эту тенденцию. Google заявляет, что «стручки» с тесно расположенными тысячами ее чипов ИИ — дублированные тензорные процессоры, или TPU — могут обеспечивать 100 петафлопс вычислительной мощности, что составляет одну десятую от скорости, достигнутой Summit.
Вклад проекта Summit в науку о климате показывает, как ИИ гигантского масштаба может улучшить наше понимание будущих погодных условий. Когда исследователи генерируют столетние предсказания погоды, чтение полученного прогноза становится сложной задачей. «Представьте, что у вас есть фильм на YouTube, который идет 100 лет. Нет никакой возможности найти всех кошек и собак в этом фильме вручную», говорит Прабхат. Обычно для автоматизации этого процесса используется программное обеспечение, однако оно не совершенно. Результаты «Саммита» показали, что машинное обучение может делать это намного лучше, что должно помочь в прогнозировании штормовых воздействий вроде наводнений.
По словам Майкла Причарда, профессора Калифорнийского университета в Ирвайне, запуск глубокого обучения на суперкомпьютерах — это относительно новая идея, которая появилась в удобное время для исследователей климата. Замедление темпов усовершенствования традиционных процессоров привело к тому, что инженеры стали оснащать суперкомпьютеры растущим числом графических чипов, чтобы производительность росла более стабильно. «Наступил момент, когда больше нельзя наращивать вычислительную мощность обычным способом», говорит Причард.
Этот сдвиг завел традиционное моделирование в тупик, а значит пришлось адаптироваться. Также это открывает дверь для использования силы глубокого обучения, которое естественным образом подходит для графических чипов. Возможно, мы получим более четкое представление о будущем нашего климата.