Об этом пишет Science alert.
В рамках проекта группа ученых провела эксперимент с четырьмя пациентами с эпилепсией, в мозг которых вживили специальные электроды для мониторинга судорог. Участники прочитали и повторили несколько предложенных предложений вслух в то время, как электроды записывали активность их мозга во время упражнения.
Затем эти данные передали в нейронную сеть, которая проанализировала закономерности мозговой активности, соответствующие определенным речевым сигнатурам – гласным, согласным и движениям рта. Другая нейронная сеть расшифровала эти представления из повторов 30-50 озвученных фраз и использовала их, чтобы попытаться предсказать сказанное, основываясь сугубо на пробковых сигнатурах слов.
Ученые детализировали многочисленные примеры фраз, произнесенные участниками, наряду с «предсказаниями», которые были сгенерированы сетью, иногда ошибочными, но не всегда. Впрочем, когда ошибки были очевидны, они, похоже, сильно отличались от результатов неправильного восприятия языка человеческими ушами.
Примеры ошибок: «музей нанимает музыкантов каждый вечер», что было предусмотрено как: «музей нанимает музыкантов каждое дорогое утро». Или: «часть торта съел пес» – «часть торта была выпечена» и тому подобное.
В наименее точных случаях ошибки практически не имеют семантического или фонетического отношения к тому, о чем шла речь: «она носила теплые ворсистые шерстяные комбинезоны», что интерпретировалось как «оазис – мираж».
Несмотря на странность очевидных ошибок, в целом система может стать новым эталоном для декодирования мозговой деятельности на основе ИИ, отмечают авторы исследования.