Все чаще пишут о том, что нейросети применяют те же трюки, что и живой мозг (ну или наоборот). Из свежего, авторы статьи в Nat. Neurosci сравнили, как воспринимают непрерывную речь люди и как — авторегрессионные глубокие языковые модели (DLM), не знающие правил и синтаксиса. Вышло, что те и другие используют три важных принципа:
(1) непрерывно предсказывают следующее слово до его появления;
(2) сопоставляют свои предсказания с входящим словом для вычисления степени неожиданности (ошибки прогноза);
(3) полагаются на контекстуальные детали
Люди слушали 30-минутный подкаст, а активность их мозга считывалась с помощью электрокортикографии (ЭКоГ) — прогнозирующие нейронные сигналы четко обнаруживаются за сотни миллисекунд до появления слова. Затем поведение живых сетей сравнивали с реакцией искусственных на тот же текст.
Вывод авторов: показаны “общие вычислительные принципы между тем, как человеческий мозг и авторегрессионные DLM обрабатывают естественный язык”. И это хорошая новость, так как люди неизбежно…
