​​Россия на карте мира ИИ. Место и перспектива трёх стран в мировой ИИ-гонке. Еще пару лет назад был смысл в применении разнообразных рейтингов для оценки положения стран в мировой ИИ-гонке (см. (1)). Теперь это уже не так. Практические успехи глубокого обучения (основное направление развития современных ИИ-систем) привели к тому, что на это направлении развития ИИ теперь приходятся 95%+ всех денег и талантов. А это значит, что как минимум на ближайшую декаду, лидеры глубокого обучения будут лидерами мировой ИИ-гонки. А в глубоком обучении, - как в беге. Выигрывает тот, у кого лучше физическая подготовка. Конечно, есть и другие факторы (спортивный дух, настрой, воля к победе, техника …). Но без исключительно хорошей физической подготовки в гонке не выиграть. Эквивалентом физической подготовки в современном глубоком обучении является вычислительная мощность компьютера, на котором обучаются модели со все большим числом параметров. В крупнейшей на сегодня языковой модели transformer от Microsoft число параметров составляет 530 млрд. Насколько круто возросли требования к вычислительной мощности для таких моделей видно из этого графика (2). В результате вычислительная мощность стала главным показателем потенциала роста величины и сложности новых все более совершенных моделей глубокого обучения. И это относится как к бизнесу компаний БигТеха, так и к академическим исследовательским центрам, а также к каждой стране в целом. Для оценки вычислительной мощности для такого рода задач обучения сверхбольших моделей создан специальный тест HPL-AI (3). Но по этому тесту пока что оценена производительность лишь 19 высокопроизводительных вычислительных комплексов мира. Поэтому для более широкого и полного сравнения самых высокопроизводительных систем для ИИ пока продолжают использовать показатель скорости вычислений с плавающей точкой (Flop/s), как это принято в рейтинге ТОР500 (4). И по этой оценке карта мира ИИ выглядит так, как на приложенном к посту рисунке. Совокупная вычислительная мощность каждой из стран соответствует площади прямоугольников, в свою очередь разделенных на более мелкие прямоугольники, соответствующие вычислительной мощности отдельных высокопроизводительных систем. • Россия обведена красным пунктиром (7 систем, самая мощная из них у Яндекса – 21,5 петафлопс (10^15 Flop/s) • Китай обведен синим пунктиром (173 системы, самая мощная – 93 петафлопс – на 26% превышает производительность всех российских систем в ТОР500). • США обведены желтым пунктиром (149 систем, самая мощная – 149 петафлопс –в 2 раза превышает производительность всех российских систем в ТОР500). Таково сегодняшнее место России на карте мира ИИ. А теперь о перспективе. На этом рисунке (5) вычислительная мощность трёх новых суперкомпьютерных систем соответствует площади трёх прямоугольников: • Желтый – это Китай: 25 января с.г. SenseTime запустил Artificial Intelligence Data Centre (AIDC) нового поколения SenseCore; его вычислительная мощность 3740 петафлопс (в 51 раз превышает производительность всех российских систем в ТОР500) • Синий – это США: к 2023 году Facebook (Meta) доведет вычислительную мощность своего AI supercomputer RSC до 4900 петафлопс (в 67 раз превышает производительность всех российских систем в ТОР500) • Красный – это Россия: к 2026 планируется создать суперкомпьютер на разрабатываемых сейчас отечественных процессорах «Эльбрус-32С» производительностью в 100 петафлопс. #ИИ #HPC #Россия #Китай #США 1 2 3 4 5