ChatGPT и косвенное влияние на UX и HCI. Отвечать будет Стивен Вольфрам Давайте обратимся к недавней статье What Is ChatGPT Doing … and Why Does It Work? с тщательным разбором того, как работает ChatGPT и множеством подробностей о том, как все работает изнутри. Важно здесь отметить, что Стивен Вольфрам идет дальше и показывает и те многочисленные теоретические проблемы, которые не решает, а, наоборот, ставит эта нейросеть нового поколения: это очень важный аспект, о котором, мне кажется, пишут не так много. writings.stephenwolfram.com/2023/02…-it-work Попробуем разобраться, о чем он вообще. Итак, сначала он описывает функцию градиентного спуска, рисует диаграммы частотности слов в корпусе и другие общие вещи, которые можно прочесть в любом курсе по работе машинного обучения. Пропустим эти общие вещи и обратимся к следующим частям “Причина, по которой нейронная сеть может быть успешной при написании эссе, заключается в том, что написание эссе оказывается «вычислительно более легкой» задачей, чем думали до этого. И в некотором смысле это приближает нас к «теории» того, как нам, людям, удается делать такие вещи, как написание эссе, или вообще иметь дело с языком” Меня, конечно, удивляет (как и многих) легкость изучения грамматически правильных фраз - это тривиальная задача, которая долгие годы казалось не такой уж и тривиальной - и что Стивен Вольфрам назвал глубоко спрятанной внутри ChatGPT логикой силлогизмов и учебника грамматики, теории, которую бот открыл после чтения огромного числа текстов. Смешно, что Вольфрам здесь вспоминает Mad Libs - эти примитивные опросники для детей, которые популярны в детских учебниках, когда надо продолжить фразу, чтобы написать историю. Ключевое «естественнонаучное» наблюдение Вольфрама заключается в том, что трансформирующая архитектура нейронных сетей, подобная той, что используется в ChatGPT, по-видимому, способна успешно изучать вид вложенной древовидной синтаксической структуры, которая, по-видимому, существует во всех человеческих языках. Синтаксис обеспечивает одно из ограничений языка. Получается, что генеративная грамматика с ее деревьями существует в виде результата, которая выдает ChatGPT. Но есть и еще кое-что. Почему нейросеть пишет именно то, что пишет в ответ на вопрос? Стивен Вольфрам здесь рисует пространство лингвистических признаков - которое объединено как семантически, так и по другим признакам. Мы можем посмотреть на траекторию, по которой следует текст для ChatGPT в пространстве функций, а затем мы можем увидеть, как ChatGPT продолжает это - ниже в посте картинка с примером того, как нейросеть выбирает слова Здесь определенно нет «геометрически очевидного» закона движения. И это совсем не удивительно; мы, как пользователи, полностью ожидаем, что это будет значительно более сложная история в тексте, некоторое более осмысленное повествование с элементами креативности. И получается, что на данный момент мы не готовы «эмпирически декодировать» из его «внутреннего поведения» то, что ChatGPT «обнаружил» о том, как «собирается» человеческий язык. Что нужно для создания «осмысленного человеческого языка»? В прошлом мы могли предположить, что это не что иное, как человеческий мозг. Но теперь мы знаем, что нейронная сеть ChatGPT вполне может создать осмысленный язык. .Успех ChatGPT неявно раскрывает важный «научный» факт: на самом деле в осмысленном человеческом языке гораздо больше структуры и простоты, чем мы когда-либо знали, и что, в конце концов, могут быть даже довольно простые правила, которые описать, как такой язык может быть составлен. Синтаксическая грамматика дает правила того, как слова, соответствующие таким вещам, как разные части речи, могут быть объединены в человеческом языке. Но чтобы разобраться со смыслом, нам нужно пойти дальше. И один из вариантов того, как это сделать, — подумать не только о синтаксической грамматике языка, но и о семантической.