По совпадению, этим же днем Nature публикует лонгрид “ChatGPT преодолел тест Тьюринга — начинается гонка за новыми способами оценки ИИ”. Отличный рассказ о том, как исследователи пытаются найти способ проверить языковую модель на способность мыслить. Чтобы подтвердить “искры общего интеллекта” или же их опровергнуть. Лонгрид сопровождается редакционной статьей о том, что пора уже разобраться в черном ящике: “трудно представить себе более важную задачу для области ИИ, чем понимание сильных и слабых сторон LLMs и механизмов, которые ими управляют”. А буквально четырьмя днями ранее в Nature Machine Intelligence вышел свой editorial “Языковые модели и лингвистические теории за пределами слов”, он начинается так: “Фредерик Елинек, известный чешско-американский исследователь в области обработки естественного языка и распознавания речи, в 1985 году сказал: "Каждый раз, когда я увольняю лингвиста, производительность распознавателя речи возрастает". Это говорит о том, что, возможно, не существует эффективного способа включения лингвистических знаний в такие системы.” Текст рассматривает тезис о том, что лингвистика, возможно, будет бесполезна для описания работы LLMs. При этом языковые модели все лучше имитируют типичные реакции людей, что позволяет проводить социальные эксперименты без живых участников. Об этом недавно вышла статья в Science, и ее первый автор излагает более популярно и кратко суть идеи здесь.