#nlp #про_nlp Смысл chatGPT Рассказала сегодня на OpenTalks.ai и захотела написать и сюда небольшую мысль о том, почему так важно то, что сейчас происходит. Естественный язык и его моделирование — важная задача для ИИ. Она даже называется ИИ-полной (AI-complete), так как без нее не будет осуществлено взаимодействие ИИ-систем и человека. Тем не менее, мы всегда оцениваем языковые модели не с точки зрения их понимания именно языка, а мы ожидаем от них интеллектуальности, выраженной через язык. Даже такие популярные ML-задачи, как вопросно-ответные системы, поиск причинно-следственных связей, машинное чтение — вообще-то совершенно не обязаны решаться именно через механизмы языка. Лингвисты выделяют в языке уровни: — фонетика и фонология — морфология — синтаксис — семантика — дискурс — прагматика.* Морфологию и синтаксис вы можете помнить из уроков русского языка, семантика — смысл слов и предложений, дискурс — смысловая структура текста, и, наконец, высший уровень — прагматика — отвечает за цель и намерения автора фраз и текстов. 🌸Instruction-based диалоговый сетап для языковых моделей — это именно прагматическая часть, по сути, инструкция — это и есть прямая разметка интенций, приведших к появлению текста. 🌸 С такими моделями теперь можно не толькос моделировать текст под любое намерение, но и решить обратную задачу — для каждого уже существующего текста сгенерировать по 5-10 интенций автора ("что хотел сказать автор :)") Однако, вот незадача. Прагматика — последний теоретичсекий уровень языка. Дальше уровни кончаются. Неужели мы смоделировали уже все в языке? Возвращаясь к первому тезису — нет. Но теперь придется моделировать последовательности из интенций, внешние факторы контекста для появления этих интенций и вообще когнитивные навыки, чтобы улучшать качество генерации дальше. Будет интересно! Презентацию выложила в гугл-док.