Что сулит планируемый Китаем 30-тикратный отрыв от США в ИИ? Все медиа мира взахлеб обсуждают новую языковую модель PaLM от Google. Эта супергигантская ИИ-система обучалась на 540 миллиардов параметров (втрое больше, чем у знаменитой GPT-3), за счет чего удалось совершить очередной прорыв в качестве обработки языка. Система PaLM способна рассуждать, применяя арифметическое и логическое мышление. Она на раз-два решает задачи типа: «У Роджера 5 теннисных мячей. Он покупает еще 2 упаковки мячей. В каждой упаковке по 3 мяча. Сколько теннисных мячей теперь у Роджера?» PaLM умеет объяснять Например, шутку «Я собирался лететь в гости к семье 6 апреля. Но мама сказала, что у отчима поэтические чтения в этот вечер, и я решил лететь 7го» PaLM объясняет так «Шутка в том, что мать говорящего пытается уговорить его пойти на поэтические чтения отчима, но говорящий не хочет идти, и поэтому он меняет свой рейс на следующий день после поэтических чтений». PaLM выстраивает цепочки рассуждений. Например, систему спрашивают: «Дженни смотрит в окно и видит под собой очень красивое облако. Она отстегивает ремень безопасности и направляется в туалет. Возможно ли, что Дженнифер движется со скоростью более 300 миль в час относительно Земли?» Цепочка рассуждений PaLM: «300 миль в час – это около 480 км/ч. Это, примерно, скорость коммерческого самолёта. Облака обычно находятся ниже самолётов, поэтому Дженнифер, вероятно, летит на самолёте» Следовательно, ответ «Да». А теперь внимание. ✔️ ИИ системы PaLM умеет все вышеупомянутое (и много больше) используя в языковой модели для предварительного обучения до 540 млрд параметров. ✔️ ИИ-платформу BaGuaLu – совместную разработку Университета Цинхуа, Alibaba Group, Zhejiang Lab и Пекинской академии искусственного интеллекта: уже обучают на 2-х триллионах параметров; до конца года планируют довести до 14,5 трлн, а потом и до 174 трлн параметров. Это значит, что уже до конца года у Китая может появиться отрыв в мощности языковых моделей от США в несколько десятков раз. Ну а что будут уметь столь огромные модели с числом параметров, превосходящим число синапсов в человеческом мозге, мы не знаем. Но это может оказаться для человечества большим откровением. Подробней см. презентацию BaGuaLu, сделанную на PPoPP несколько дней назад https://www.youtube.com/watch?v=T3-6WH1GyRw И описание BaGuaLu в ACM https://dl.acm.org/doi/10.1145/3503221.3508417 #Китай #БазисныеМодели #ИИ