Илья Суцкевер из OpenAI считает, что GPT в какой-то мере обладают картиной мира. Может показаться, что большая языковая модель лишь выхватывает статистические корреляции из текстов, но он говорит, что все несколько сложнее. Статистика текстов не случайна, и чтобы по-настоящему хорошо ее отразить, модель учится “видеть” процесс, который стоит за их созданием. Сами тексты, говорит Илья, — это проекция мира, в них зафиксированы отношения людей, их мечты, мотивации, поведение. Нейросеть усваивает эту структуру, в очень абстрактной, но пригодной для генерации форме. Словом, LLM — не стохастический попугай 🦜, а нечто более глубокое. Метафору попугая не принимает и профессор IT из Гарварда, покинувший Microsoft Research. Он подверг сомнению все наиболее ходовые ИИ метафоры: максимизатор скрепок, стохастический попугай, царь Мидас, jpeg веба, рынки, демократия, инопланетянин, шоггот. Его эссе “Metaphors for AI, and why I don’t like them”. И здесь очень кстати в Nat Rev Psychol вышел комментарий психолога из Стэнфорда: “Baby steps in evaluating the capacities of large language models”. Он предлагает изучать LLM методами психологии развития, науки о том, как учатся и что понимают дети. “Психологи обычно руководствуются принципом, известным как канон Моргана: не спешите делать вывод о наличии у системы абстракции высокого уровня, если для объяснения ее поведения достаточно способности более низкого уровня. Помимо этого общего принципа, исследователи развития сошлись вокруг набора эмпирических стратегий, позволяющих делать заявления о наличии абстракций. Многие из них могут быть применены непосредственно к LLM, хотя LLM также позволяют применять подходы, которые невозможно (или неэтично) реализовать на человеческих учениках”. То, что эта стратегия напрашивается, было ясно уже несколько лет. Проблема тут больше практическая — как подружить психологов и разрабов LLM, слишком разные у них языки. Но польза может быть обоюдной: “Тщательное изучение LLM может раскрыть больше информации об их способностях, но также может привести к более широкому пониманию природы обучения. Будучи сильными учениками в области статистики, LLM предоставляют ценное доказательство концепции того, как абстракции могут — или не могут — возникать исключительно из обучения, управляемого данными”. На фоне всех этих рассуждений стартап Inflection AI, спустя два месяца после запуска своего первого чат-бота Pi, привлек $1.3 млрд инвестиций. Вложились Microsoft, Nvidia, а также Билл Гейтс, соучредитель LinkedIn Рейд Хоффман и бывший СЕО Google Эрик Шмидт. Как пишет Forbes, Inflection собрал крупнейший в мире кластер графических процессоров, опередив кластер Meta, уступая лишь суперкомпьютеру Frontier Национальной лаборатории Ок-Ридж.