Быстрое и сравнительно точное декодирование мысленной речи по ЭКоГ В предыдущем посте мы упомянули конкурс BCI Award, третье место в котором в этом году занял проект Эдварда Чена из Калифорнии. Как оказалось, вчера у них вышла статья как раз по теме проекта. В качестве сигнала использовалась 128-канальная ЭКоГ. В дополнение к моторной коре авторы подключились также к областям, отвечающим за движения кисти руки, использовали осцилляторную активность с разной частотой, глубокое обучение и языковые модели. В результате удалось декодировать мысленную речь со скоростью 29.4 символа в минуту и с частотой ошибок 6.13%. To initiate spelling, the participant silently attempted to speak, and a speech-detection model identified this start signal directly from ECoG activity. After spelling out the intended sentence, the participant attempted the hand-motor movement to disengage the speller. When the classification model identified this hand-motor command from ECoG activity, a large neural network-based language model rescored the potential sentence candidates from the beam search and finalized the sentence. Metzger SL ... Chang E.F. Generalizable spelling using a speech neuroprosthesis in an individual with severe limb and vocal paralysis. Nature Communications 13, 6510, 08 November 2022 https://doi.org/10.1038/s41467-022-33611-3 (Open Access) К статье приложены видео: [ 1 ], [ 2 ], [ 3 ], [ 4 ]. Стоит, правда, отметить, что пациент постоянно двигает головой, и нельзя исключить, что эти движения тоже вносят некоторый вклад в декодирование. Но это, конечно, не тот случай, как с обезьянкой Маска, которая через движения могла передавать в нейроинтерфейс вообще всю необходимую для управления информацию -- здесь передаваемая информация намного сложнее, и если движения и помогают, без них декодирование тоже наверняка было бы возможно.