В России официозные медиа часто превозносят национальные технологические достижения. Увы, часто врут. А вот в США, наоборот, все чаще слышны разговоры о безнадежном проигрыше Китаю в какой-нибудь очередной технологической гонке. И тоже привирают: алармизм полезен, если хочешь получить больше денег из бюджета. Это работает еще и потому, что о положении дел в Китае иногда приходится судить по косвенными признакам: в последние годы ученым-китаистам стало тяжело даже попасть в страну. Так что кусочки актуальной информации приходится ценить. На днях Джеффри Динг перевел на английский небольшое видео со сравнением GPT-4 и Ernie - языковой модели от Baidu. Оценивали по шести критериям: понимание текста, ведение диалога, имитация личности, а также навыки логики, математики и программирования. По пяти из них GPT-4 оказался значительно лучше. Например, когда GPT-4 спросили, “считается ли брак между мамой и папой кровосмешением”, он ответил, что нет, если они не являются кровными родственниками, а вот Ernie просто расписал, почему кровосмешение нарушает законы КНР. Для повышения рождаемости он и вовсе предложил ввести политику “одного ребенка”. Но переоценивать неудачу Ernie не стоит. Языковые модели - лишь одно из направлений развития ИИ. Да, внезапно показавшее себя удивительно близким к “искусственному интеллекту” из фантастических фильмов, но далеко не единственное. Скажем, в области компьютерного зрения Китай давно обскакал Штаты - интереснее сравнить уровень развития ИИ-технологий в целом. Для их развития нужны 4 фактора: (1) способность производить “железо” (т.е. чипы), (2) проводить исследования и придумывать алгоритмы, (3) иметь доступ к данным и (4) финансовым ресурсам. В 2018 г. выходило, что возможности Китая - половина от американских: китайцы были впереди по объему доступных данных, отставали в области исследований и финансов и были безнадежно позади по “железу”. С тех пор прошло уже пять лет, но можно посмотреть на свежие цифры из недавнего AI Index Report. Китайские частные инвестиции в ИИ ($13.4 млрд в 2022 г.) все еще в три с половиной раза меньше американских ($47.4 млрд). Оценить государственные вливания сложнее, но можно сравнить пакеты поддержки для полупроводниковой индустрии: ходили слухи про китайские $150 млрд, а американцы уже пообещали в два раза больше - $280 млрд. В науке ситуация другая: если смотреть в лоб, то у китайцев давно уже больше и публикаций (40% vs 10%), и цитирований (29% vs 15%). Но если судить по самым влиятельным работам, то Китай все еще отстает. В общей сложности - паритет. Но почему Ernie все-таки получился глупым? Мне кажутся интересными две линии аргументации. Когда мы оцениваем технологические перспективы страны, то слишком много внимания обращаем на инновационный потенциал - способность сформировать прорывную идею. Но не менее важен диффузный потенциал - способность эту идею применить. У послевоенного СССР с инновациями все было хорошо, а с диффузией - плохо, и реальную технологическую гонку Союз проиграл. Динг насчитал, что и в Китае есть “диффузный дефицит” - исследований много, а вот с их адаптацией все еще плохо. На мой вкус - очень спорный тезис, но изучать диффузию действительно важно. Другая проблема с языковыми моделями - в политической асимметрии. Если GPT скажет что-нибудь расистское, это закончится судебным процессом и финансовыми потерями. Но если Ernie оскорбит Си, то последствия могут быть непредсказуемыми. Проблема в том, что мы до сих пор не понимаем, как аккуратно цензурировать языковые модели. GPT-4 разработали еще в августе, а открытый доступ дали в марте - все это время модель достраивали, в т.ч. и для того, чтобы она не ляпнула какую-нибудь опасную глупость (и она до сих пор делает это постоянно). При этом те, у кого был доступ к ранней версии, пишут, что этические ограничения снизили “интеллект”. Возможно, обилие запретов - Ernie благоразумно отказывается от разговоров на острые темы - слишком сильно обрезает способности китайских моделей.