Российские ученые работают над созданием интерфейса «мозг–компьютер», который способен не только декодировать мысли, но и отправлять обратно в мозг сигналы, пригодные для понимания.
С помощью этого интерфейса можно будет руководить искусственной рукой, получая информацию о том, что она чувствует, а также научиться предугадывать желания и озвучивать их с помощью громкоговорителя. Именно такой эксперимент российские ученые задумали провести на обезьянах, которые начнут «проговаривать» свои намерения.
Декодируй это
Ученые НИУ ВШЭ в рамках мегагранта под названием «Двунаправленные электрокортикографические интерфейсы мозг–компьютер для управления, стимуляции и коммуникации» начали работу по обучению нейросетей декодированию сигналов мозга. Это нужно для того, чтобы не только мозг мог посылать сигналы компьютеру (такое уже давно сделано однонаправленными интерфейсами, которые улавливают желания и мысли человека), но и компьютер мог бы отсылать сигналы мозгу.
Для проекта отобраны 10 человек, которым по медицинским показаниям вживили под черепную коробку сетку с электродами — она используется для распознавания эпилептических очагов. Пациенты согласились добровольно принять участие в настройке и тестировании интерфейсов «мозг–компьютер».
Сетка представляет собой квадрат 7x7 см с 64 электродами, расположенными в узлах с шагом 1 см. Она покрывает моторную и соматосенсорную кору мозга. С помощью такой сетки ученые распознают группы нейронов, которые участвуют в том или ином движении. Таким же образом, по конфигурации активных нейронов, в некоторых случаях можно определить и представляемые образы. Например, если человек хочет яблоко, можно поставить эксперимент так, чтобы понять, какой набор нейронов отвечает за данное желание. В результате из огромного количества желаний человека вычленяются те, которые были заданы условиями эксперимента.
— Самая большая сложность состоит в том, что в мозге нет удобных для экспериментатора изображений, — объясняет старший научный сотрудник Центра нейроинженерии Университета Дьюка (США) и руководитель мегагранта в НИУ ВШЭ Михаил Лебедев. — Можно представить себе, что человек засунул голову в озеро, а потом вытащил ее, а ученые, проанализировав круги на воде, должны догадаться о том, как выглядит его лицо.
Сеть & нейросеть
Для того чтобы декодировать сигналы мозга, была привлечена нейросеть глубокого обучения. Ей предоставили примеры того, какие именно нейроны на моторной коре активизировались при движении пальцами. Алгоритм обучения создал директор центра биоэлектрических нейроинтерфейсов НИУ ВШЭ Алексей Осадчий.
— Мы разработали свою архитектуру — это некий вариант сверточной нейросети, — рассказал эксперт «Известиям». — Она, с одной стороны, компактная, а с другой — позволяет физиологическую интерпретацию. У нас есть система захвата движения, которая отслеживает траекторию движения пальца, и есть система многоканальной записи электрокортикограммы. И дальше мы ставим задачу нейросети сопоставить эти две записи.
Чтобы нейросеть научилась правильно распознавать сигналы мозга, пациенты с имплантированными сетками специально демонстрируют ей движения разными пальцами руки. Следующая задача — пошевелить этими же пальцами, но на экране монитора. И тут вступает в свои права программа, помогающая произвести правильное движение.
— Она действует примерно, как Т9 (предугадывающая система набора текстов для мобильных телефонов), которая предлагает нам слова, понимая по первому слогу, что именно мы стараемся написать, — поясняет Михаил Лебедев. — Таким образом можно достигнуть идеального управления рукой-протезом. Обратная связь — от машины к руке — нужна для того, чтобы человек признал ее своей. Если вы никак руку не ощущаете, признать ее своей сложно. Таким образом работает двусторонний нейроинтерфейс.
Минуя миллионы лет эволюции
По словам Михаила Лебедева, декодирование сигналов на данный момент развития науки дается ученым значительно сложнее, нежели передача сигнала в мозг с его правильным восприятием. Так происходит потому, что одной из главных характеристик человеческого мозга является пластичность, то есть возможность «пересчитать» ситуацию под свои возможности, быстро подстроиться под сигналы внешнего мира.
Известен эксперимент, когда испытуемых заставляли ходить в переворачивающих изображение очках (инвертоскопе). При этом они должны были стараться закинуть баскетбольный мяч в кольцо. Кажется, что сделать это невозможно, ведь глаза видят перевернутую картинку. Но уже через несколько дней человек привыкал видеть перевернутое изображение и начинал попадать мячом точно в цель.
Михаил Лебедев предлагает испытать пластичность мозга обезьян. Реализация его идеи продемонстрирует возможность полностью парализованных людей общаться с внешним миром и друг с другом. Обезьяны, у которых в мозгу попросту отсутствует речевой центр, станут объектом демонстрации. Кроме того, проект может привести к совершенно новому эффекту, ведь с помощью инвазивного интерфейса обезьяны будут общаться друг с другом словами. Причем говорить по-русски.
Ученый предлагает определить с помощью эксперимента конфигурацию нейронов, которые отвечают за некоторые важные для животных объекты. А потом запрограммировать нейросеть так, чтобы она вычленяла нужные сигналы из моторной и премоторной коры и подавала их на громкоговоритель. Таким образом, когда обезьяна захочет яблоко, в ее мозгу сформируется нужная цепочка нейронов, которая будет детектирована нейросетью. И в этот же момент громкоговоритель произнесет слово «яблоко».
Михаил Лебедев в своей американской лаборатории уже добился хорошей расшифровки намерений обезьян, сообщил «Известиям» руководитель лаборатории нейрофизиологии и нейроинтерфейсов биологического факультета МГУ им. М.В. Ломоносова Александр Каплан. Теперь ученый предлагает озвучивать эти намерения, так как это хорошая демонстрационная идея и она реализуема на 100%.
Специалист предполагает, что в этом эксперименте можно пойти еще дальше. Многократно озвучивая желание обезьяны, которая слышала бы четкие обозначения слов: яблоко, банан, сок, ученые могут постепенно выработать у нее условный рефлекс. Это приведет к тому, что обезьяна выучит названия предметов, к которым она стремится. Важно понимать, что такой эксперимент будет коренным образом отличаться от опытов Павлова на собаках. Ведь сначала обезьяна проявит намерение съесть яблоко, потом последует слово и только затем вознаграждение в виде яблока. Именно так учится и ребенок. Александр Каплан считает, что такой эксперимент может стать выдающимся достижением в области фундаментальной науки.
«Известия» общались с учеными в рамках прошедшего в Сочи форума «Наука будущего — наука молодых».
Читать подробнее: Известия
