Исследователи из Калифорнийского университета в Дэвисе достигли значительного успеха в нейропротезировании речи. Под руководством Сергея Ставиского и Майтрейи Вайрагкар была разработана и успешно испытана технология, позволяющая людям, утратившим речь из-за бокового амиотрофического склероза (БАС), полноценно общаться и даже петь в реальном времени.
Прорыв заключается в создании интерфейса «мозг-компьютер», преобразующего нейронную активность в синтезированную речь с беспрецедентной скоростью 25 миллисекунд. Для этого в мозг пациента имплантировали 256 электродов, фиксирующих активность зон, контролирующих мышцы, участвующие в образовании речи. Во время многочисленных сессий участнику исследования показывались предложения, которые он пытался произнести, меняя интонацию. Эти данные, включая информацию о нейронной активности, использовались для обучения модели искусственного интеллекта.

Искусственный интеллект научился сопоставлять характерные узоры нейронной активности с произносимыми словами и интонациями пациента. Это позволило системе генерировать речь, передающую как смысл, так и эмоциональную окраску высказываний. Кроме того, благодаря технологии клонирования голоса, система была обучена на записях голоса пациента до начала болезни, что позволило воспроизвести тембр, близкий к его естественному звучанию.
Уникальность технологии заключена в её скорости. Другие нейропротезы речи обычно требуют намного больше времени на обработку, что делает общение менее естественным. Новая система позволяет вести разговоры почти без задержек, предоставляя возможность для диалогов с уточнениями и быстрыми реакциями. По словам Майтрейи Вайрагкар, хотя система нуждается в улучшениях для повышения разборчивости, пациент выражает довольство, ощущая синтезированный голос как свой собственный.
Эксперименты показали, что система также способна воспроизводить мелодии, точно передавая высоту звука. Пациент успешно применял её для создания различных звуков, восклицаний и даже придуманных слов. Член исследовательской группы, Дэвид Брэндман, отметил, что пациент, ранее полностью парализованный и лишённый речи, теперь может работать полный день и вести полноценную жизнь. Эта технология открывает новые горизонты для людей с речевыми нарушениями вследствие различных неврологических заболеваний.
Источник: iXBT