Обложка канала

Блуждающий нерв

3230 @dtulinov

Исследования мозга, нейротехнологии, генная инженерия и др. смежные темы -- что происходит в этой области. Ссылки на научные источники.

Блуждающий нерв

4 года назад
Открыть в
Все чаще пишут о том, что нейросети применяют те же трюки, что и живой мозг (ну или наоборот). Из свежего, авторы статьи в Nat. Neurosci сравнили, как воспринимают непрерывную речь люди и как — авторегрессионные глубокие языковые модели (DLM), не знающие правил и синтаксиса. Вышло, что те и другие используют три важных принципа: (1) непрерывно предсказывают следующее слово до его появления; (2) сопоставляют свои предсказания с входящим словом для вычисления степени неожиданности (ошибки прогноза); (3) полагаются на контекстуальные детали Люди слушали 30-минутный подкаст, а активность их мозга считывалась с помощью электрокортикографии (ЭКоГ) — прогнозирующие нейронные сигналы четко обнаруживаются за сотни миллисекунд до появления слова. Затем поведение живых сетей сравнивали с реакцией искусственных на тот же текст. Вывод авторов: показаны “общие вычислительные принципы между тем, как человеческий мозг и авторегрессионные DLM обрабатывают естественный язык”. И это хорошая новость, так как люди неизбежно будут все плотнее взаимодействовать с “умными машинами”, что потребует новых — быстрых и удобных — протоколов их общения. И здесь общность разделяемых принципов у двух разных видов интеллекта только на руку разработчикам. Я же считал и считаю, что область сопряжения ЕИ и ИИ может стать прорывной (и даже подрывной) технологией, и в эту нишу еще можно зайти сравнительно дешево.
Shared computational principles for language processing in humans and deep language models

Nature Neuroscience - Deep language models have revolutionized natural language processing. The paper discovers three computational principles shared between deep language models and the human...

Nature