Ученые научились преобразовывать сигналы мозга в устную речь

Появилась система, которая способна превратить импульсы мозга в понятную человеческую речь. Ее создали ученые Колумбийского университета.

Система контролирует мозговую деятельность и может реконструировать слова, которые мозг «произносит» мысленно. Создать ее получилось после того, как были проведены исследования, показывающие, что люди, когда говорят вслух или мысленно, в их мозгу появляются характерные паттерны активности.

Такая же четкая система сигналов возникает, когда мы слушаем то, что говорит кто-либо другой. Эти паттерны можно расшифровать – ученые давно думали над этим вопросом, и наконец у них получилось. Для этого они использовали вокодер – это компьютерный алгоритм, который может синтезировать речь после обучения по записи разговоров людей. Технология та же, что используется, к примеру, голосовым помощником Siri от Apple для формирования устного ответа на вопросы.

Вокодер обучали на пациентах, страдающих эпилепсией и уже перенесших операцию на головном мозге. Им давали слушать фразы, произнесенные другими людьми, и замеряли мозговую активность в это время. Полученные паттерны использовали при обучении вокодера. Следом те же пациенты прослушивали через динамик цифры от 0 до 9, фиксировали их сигналы мозга и использовали их для вокодера. Звук, который воспроизводил вокодер в ответ на эти сигналы, очищался и анализировался нейронными сетями.

В итоге ученые получили роботизированный голос, который повторял последовательность чисел.

Авторы рассчитывают, что их разработка может в ближайшем будущем быть использована для создания практически применимых средств коммуникации.