Все чаще пишут о том, что нейросети применяют те же трюки, что и живой мозг (ну или наоборот). Из свежего, авторы статьи в Nat. Neurosci сравнили, как воспринимают непрерывную речь люди и как — авторегрессионные глубокие языковые модели (DLM), не знающие правил и синтаксиса. Вышло, что те и другие используют три важных принципа:
(1) непрерывно предсказывают следующее слово до его появления;
(2) сопоставляют свои предсказания с входящим словом для вычисления степени неожиданности (ошибки прогноза);
(3) полагаются на контекстуальные детали
Люди слушали 30-минутный подкаст, а активность их мозга считывалась с помощью электрокортикографии (ЭКоГ) — прогнозирующие нейронные сигналы четко обнаруживаются за сотни миллисекунд до появления слова. Затем поведение живых сетей сравнивали с реакцией искусственных на тот же текст.
Вывод авторов: показаны “общие вычислительные принципы между тем, как человеческий мозг и авторегрессионные DLM обрабатывают естественный язык”. И это хорошая новость, так как люди неизбежно будут все плотнее взаимодействовать с “умными машинами”, что потребует новых — быстрых и удобных — протоколов их общения. И здесь общность разделяемых принципов у двух разных видов интеллекта только на руку разработчикам.
Я же считал и считаю, что область сопряжения ЕИ и ИИ может стать прорывной (и даже подрывной) технологией, и в эту нишу еще можно зайти сравнительно дешево.
Nature Neuroscience - Deep language models have revolutionized natural language processing. The paper discovers three computational principles shared between deep language models and the human...