В свежей статье ученых из Калифорнийского университета в Сан-Франциско описан «нейропротез для расшифровки речи парализованного человека». Пациент из-за травмы не может артикулировать речь, у него не работают мышцы гортани, и он мычит вместо произнесения слов. Матрица из 128 электродов вживлена в ту зону коры, что заведует этими мышцами.
На данных от матрицы обучили нейросеть: пациент по много раз «произносил» слова из списка. Каждое слово требует чуть иной комбинации мышечных усилий, нейроны работают по-разному – матрица это считывает. Плюс алгоритм, который вычисляет вероятности следующего слова.
Итого, скорость набора 15 слов в минуту, но это с учетом пауз, предусмотренных экспериментом. Наверняка может быть выше. Авторы говорят, что мозг пациента все время адаптировался к задаче, словно облегчая машине распознавание. Это подмечал еще Николелис, работая с обезьянами.
Статья в NEJM наглядно показывает, куда пойдет развитие интерфейсов мозг-машина. Они не начнут «читать мысли», но будут использовать нейросетевое обучение, чтобы ловить в мозге паттерны. За паттерном может стоять что угодно: мысль, желание, воображаемый образ или движение. Нейросеть различит нужный паттерн на фоне других.
Для стандартных задач, вроде набора текста или управления, этого уже достаточно.
NY Times публикует репортаж об этом исследовании.
P.S. Задача набора текста подходит для глубокого обучения, т.к. есть конечный набор символов, фонем или слов, с одной стороны, и многомерный массив стохастических данных, с другой. При условии, конечно, что репрезентации в мозге не будут дрейфовать. А они могут, мы теперь это знаем.
