Утратившие способность говорить пациенты могут вернуться к активному речевому общению, если новая технология перевода мысленных слов в голосовую трансляцию будет доведена до клинического использования. Эксперименты с новым имплантатом и методом преобразования мысленно произнесённых слов в речь показали хорошие перспективы, буквально вернув голос пациентке, которая утратила способность говорить 20 лет назад.
Новый имплантат и технологию обучения нейросети для распознавания активности речевых центров мозга разработали учёные Калифорнийского университета в Беркли (UC Berkeley) и Калифорнийского университета в Сан-Франциско (UCSF). Главной особенностью платформы стало сканирование активности мозга каждые 80 мс. Предложенный метод устраняет раздражающую задержку, обычно свойственную подобным решениям.
Система обычно сначала распознаёт активность мозга, затем подключает обучаемую модель, анализирует (как правило) большой фрагмент текста и лишь после этого воспроизводит мысленно произнесённую речь. Живое общение в таком случае затруднено, поскольку постоянно прерывается паузами. Учёные из Калифорнии предложили решение, которое позволяет воспроизводить речь сразу в процессе мысленного произнесения слов пациентом с имплантатом.
Также в новом исследовании учёные обошли проблему обучения модели (интерфейса) с помощью воспроизведения звуков и слов пациентом. Не все потерявшие речь способны на это, поэтому исключение данного этапа позволит расширить круг потенциальных пользователей технологии.
Эксперимент был проведён с 47-летней пациенткой, которая в 30 лет из-за болезни потеряла способность разговаривать. В процессе обучения нейросети она мысленно произносила 100 уникальных предложений из словаря, насчитывающего чуть более 1000 слов. Также использовалась вспомогательная схема для общения, основанная на 50 фразах с использованием меньшего набора слов.
В отличие от предыдущих методов, в новом процессе участница не пыталась произносить слова вслух — она просто проговаривала предложения про себя. Система успешно декодировала оба способа коммуникации, причём среднее количество переводимых в речь слов в минуту почти вдвое превышало показатели предыдущих методов. А при использовании метода прогнозирования мысли переводились в речь на лету в восемь раз быстрее, чем в случае альтернативных способов трансляции.
Для достижения большей естественности звучания использовались старые записи голоса пациентки, что позволило ей говорить фактически своим голосом. Более того, когда процесс распознавания мыслей запустили в автономном режиме без ограничения времени, система смогла перевести в слова даже ту активность мозга, которой интерфейс не обучали.
Авторы отмечают, что метод ещё нуждается в доработке, прежде чем его можно будет считать клинически применимым.