Если у вас еще остались душевные силы (у меня почти на исходе), то можете отвлечься от реальности и заценить очередной раунд споров на тему «понимают ли глубокие нейросети?». Страсти там нешуточные. Начать стоит с недавнего Гари Маркуса, который вновь раскритиковал достижения ИИ, указав на примерах, что нейросети — при всех успехах — не умеют в композиционность, а это ставит крест на их якобы «мышлении». Сети безнадежно глупы, просто не всегда это заметно, говорит Маркус. ☝️Впрочем, он так говорит давно и упорно, меняются только примеры. Вызов принял Эрик Хоэл, и его эссе — ответ не только Маркусу, но и всем приверженцам «тупого ИИ», включая Хофштадтера. Весьма занимательное чтение, поскольку Хоэл словно выворачивает наизнанку прием критиков. Он замечает, что как успех ИИ не доказывает «понимания», так же и провал еще не доказывает «тупости». Провал бывает мнимым: стоит слегка изменить запрос, и вот уже нейросеть справляется с задачей. Это значит, что глупо ответившая сеть все же обладает верным представлением, но не всегда мы умеем его извлечь. Впечатляющий пример, как большие языковые модели «умнеют» за секунду: просто добавьте к заданию "Let's think step by step", и точность их рассуждений возрастет в разы! Авторы открытия из University of Tokyo и Google Research пишут, что «универсальность этой единственной подсказки для самых разных задач намекает на неиспользованные и недостаточно изученные фундаментальные возможности LLM». 🗞 Пожалуй, главная идея, с которой оставляет читателя Хоэл: не нужно судить о реакции нейросетей «как если бы они были людьми». Понимание их может быть скрытым, и мы его не увидим, если зададим вопрос так, как задали бы его человеку. Скрытое и пока не изученное пространство — то, что не учитывают маркусы, давая ИИ некий промт, получая глупый ответ и считая, что это глубоко раскрывает интеллект модели. Маркус уже отреагировал. Судите сами, убедителен ли он. Мое впечатление: текст писал человек в обиде, даже во злости. Он считает, что Хоэлу «немного скромности не помешало бы». Жаль, но нет возражения по-существу на главную идею, а она интереснее, чем может показаться (чего Маркус не оценил). Думаю, этот раунд за Хоэлом.