Мы используем cookie файлы.
Пользуясь сайтом, вы соглашаетесь с нашей Политикой конфиденциальности.

Номер договора
14.641.31.0003
075-15-2021-624
Период реализации проекта
2018-2022

По данным на 01.11.2022

17
Количество специалистов
25
научных публикаций
8
Объектов интеллектуальной собственности
Общая информация

Последнее десятилетие ознаменовано возросшим интересом к изучению возможности прямой коммуникации между головным мозгом и внешними устройствами. Эксперименты на животных показали, что, используя глубинные электроды, регистрирующие активность большого числа отдельных нейронов, можно создать управляемые мозгом устройства, воспроизводящие естественные моторные действия, такие как захват и перемещение предметов и хождение на двух ногах. Применение такой технологии к созданию интерфейсов на людях ограничено высокими рисками. Разумным компромиссом является использование субдуральных или эпидуральных сеток электродов, позволяющих с низкими рисками для здоровья пользователя существенно увеличить пропускную способность прямого коммуникационного канала с мозгом, а также посредством электростимуляции реализовывать соматосенсорную обратную связь. Ученые лаборатории разрабатывают  информационную технологию двунаправленных коммуникаций с использованием кортикографического интерфейса в сочетании с современными методами обработки многомерных данных и соматосенсорной обратной связью посредством электростимуляции или сенсорного замещения.

Название проекта: Двунаправленные электрокортикографические интерфейсы мозг-компьютер для управления, стимуляции и коммуникации

Цели и задачи

Направления исследований: Двунаправленные коммуникации мозг-компьютер с соматосенсорной обратной связью посредством электростимуляции или сенсорного замещения, создание нейроинтерфейсов для нейрореабилитации и бионического протезирования

Цель проекта: Разработка информационной технологии двунаправленных коммуникаций с мозгом человека с использованием электрокортикографического интерфейса в сочетании с современными методами обработки многомерных данных и соматосенсорной обратной связью посредством электростимуляции или сенсорного замещения

Практическое значение исследования

Научные результаты:

  1. Разработан двунаправленный сенсомоторный нейроинтерфейс, сочетающий декодирование активности моторной коры в кинематику движения виртуальной кисти со стимуляцией сенсорной коры, обеспечивающей виртуальную кисть тактильной чувствительностью. Для декодирования электрокортикографической активности мы создали новую компактную сверточную нейронную сеть, параметры которой учитывают механизмы происхождения и регистрации ЭКоГ-сигнала, что обеспечивает интерпретируемость получаемого решающего правила. Обратная связь от виртуального протеза передавалась посредством прямой электрической стимуляции зоны представительства указательного пальца сенсорной коры, обнаруженной при помощи методики решения обратной задачи магнитоэнцефалографии.

  2. Сформулированы требования по описанию экспериментов в парадигме нейрообратной связи и обнаружено, что сокращение задержки ведет в росту скорости обучения и более длительному сохранению эффекта от тренировки в этой парадигме, эксплицитно реализующей принцип двунаправленности при взаимодействии с головным мозгом. Предложена и запатентована технология низколатентной нейрообратной связи.

  3. Синтезирован новый биомиметический алгоритм для автоматического обнаружения интериктальной активности у пациентов, страдающих эпилепсией (Kleeva et al., 2022), применимый как к ЭЭГ, так и к МЭГ данным.  В тесном сотрудничестве с клиническими партнерами разработана технология пассивного картирования речевой коры, позволяющая минимизировать вероятность судорог у таких пациентов, при хирургическом вмешательстве. При анализе результатов картирования 10-ти пациентов с использованием разработанного программного обеспечения реального времени выявлена высокая степень конкордантности результатов пассивного и стимуляционного картирования, являющегося в настоящее время золотым стандартом. Как естественное продолжение данного проекта разработана и продемонстрирована на двух пациентах методика декодирования речи из стерео-ЭЭГ данных.  

  4. Проведено предварительное МЭГ исследование, демонстрирующее динамическую природу висцерально-кортикального взаимодействия.  При помощи мультимодальной регистрации параметров активности центральной и автономной нервной систем выявлены две различные стратегии медитации у опытных медитаторов.

  5. В сентябре 2022 создано коммерческое предприятие ООО BraInstaRT, по результатам конкурса СТАРТ Федерального государственного бюджетного учреждения «Фонд содействия развитию малых форм предприятий в научно-технической сфере» (Фонд содействия инновациям). Цель проекта  «Разработка программного обеспечения, реализующего принцип мгновенной нейрообратной связи (iNeurofeedback), на основе быстродействующих математических методов оценки параметров ритмической активности головного мозга». В основе принципа разработки центра по технологии низколатентной нейрообратной связи (патент №207767) и Патент на полезную модель № 207767 U1. Заявка № 2021125071. Дата государственной регистрации в Государственном реестре полезных моделей РФ 15.11.2021 г.

Внедрение результатов исследования:

  • Система управления и очувствления бионических протезов.
    Двунаправленные нейроинтерфейсы и алгоритмы декодирования активности мозга, способные сохранять работоспособность при одновременной электрической стимуляции. Разработаны алгоритмические основы для построения двунаправленных моторных инвазивных нейроинтерфейсов. Продемонстрирована возможность декодирования кинематики конечности на фоне электрической стимуляции, используемой для очувствления протеза. Такие протезы с тактильной обратной связью, реализующие двунаправленный нейроинтерфейс и канал обмена информацией, качественно повышают эффективность решения, повышают ощущение агентности и многократно ускоряют процесс обучения использованию протеза. В основу алгоритма декодирования положена компактная, физиологически обусловленная нейронная сеть, что гарантирует высокую обобщающую способность и обеспечивает интерпретируемость решающего правила найденного в процессе обучения на малом объеме обучающих данных.
    Разработанные решения были протестированы в виртуальной среде на модельной задаче сбора хрупких предметов. Замыкание канала обратной связи по тактильной информации обеспечило в два раза более успешное выполнение задания захвата и сбора хрупких елочных шаров (вариант egg task), а также существенно сократило время его выполнения и повысило ощущение естественности при выполнении задания.

  • Программно-аппаратный комплекс, алгоритмы и экспериментальные парадигмы для пассивного речевого картирования.
    Разработана система пассивного интраоперационного картирования речевых зон коры головного мозга. В отличие от существующих аналогов наша система позволяет вдвое сократить время необходимое для процедуры. Вместо электрической стимуляция наша методика подразумевает регистрацию активности коры головного мозга при помощи ЭКоГ сетки электродов во время выполнения пробужденным пациентом речевой задачи. Отсутствие стимуляции минимизирует вероятность интраоперационного припадка. Специально разработанное программное обеспечение совместимо с широкой линейкой электроэнцефалографов и осуществляет предъявление изображений, регистрацию синхронизированной многоканальной ЭКоГ и речевого аудиосигнала, расчет параметров статистической взаимосвязи параметров речевого сигнала и активности головного мозга, регистрируемой каждым из сенсоров. Информация о степени взаимосвязи отображается в реальном времени в виде статистических карт, иллюстрирующих накопленную степень взаимосвязи сигналов отдельных сенсоров и речевого сигнала. Таким образом, у врача интраоперационного мониторинга появилась возможность отслеживать в динамике изменчивость индикаторов функциональной значимости коры и останавливать процедуру по мере накопления необходимой степени уверенности.
    В отличие от единственной на рынке системы, наш подход не требует данных электрической активности мозга в состоянии покоя, что позволяет добиться, как минимум, двукратного сокращения длительности процедуры интраоперационного картирования невосполнимой речевой коры.

  • ELOQ кроссплатформенное приложение Android, IOS. Приложение для интраоперационной и экстраоперационной демонстрации стимульного материала (изображений) с индивидуальными настройками. Программа позволяет во время первичной демонстрации универсального набора изображений исключить изображения, которые пациент не может назвать или называет с ошибкой. Для повторных исследований отредактированный набор изображений демонстрируется в случайном порядке. Не содержит персональных данных. Позволяет картировать речевые зоны, стандартизировать применяемые нейролингвистические методики, спланировать индивидуальный план лечения и нейрореабилитации. Предназначено для нейрофизиологов.

  • ООО BraInstaRT, создано в сентябре 2022 г. по результатам конкурса СТАРТ Фонда содействия развитию малых форм предприятий в научно-технической сфере. Цель проекта «Разработка программного обеспечения, реализующего принцип мгновенной нейрообратной связи (iNeurofeedback), на основе быстродействующих математических методов оценки параметров ритмической активности головного мозга».

Организационные и инфраструктурные преобразования:

Лаборатория инвазивных интерфейсов с 2018 г. как структурное подразделение Центра биоэлектрических интерфейсов НИУ ВШЭ в Федеральном государственном бюджетном образовательном учреждении высшего образования «Московский государственный медико-стоматологический университет имени А.И. Евдокимова» Министерства здравоохранения Российской Федерации.

  • Работа лаборатории направлена на получение экспериментальных данных по локализации речевых и функциональных зон коры головного мозга, апробацию и внедрение методик анализа ЭкоГ данных для локализации невосполнимой коры головного мозга.

Лаборатория медицинских нейроинтефейсов и искусственного интеллекта с 2022 г. Совместно с Научно-исследовательским институтом искусственного интеллекта (Artificial Intelligence Research Institute) AIRI (airi.net) и Федеральным государственным бюджетным учреждением «Федеральный Центр Мозга и Нейротехнологий» федерального медико-биологического агентства (ФГБУ «ФЦМН» ФМБА России).

  • Апробация методов пассивного речевого картирования, разработка малоинвазивных систем для протезирования речевой функции; технологии низколатентной нейрообратной связи, методов неинвазивной диагностики пациентов; постинсультная реабилитация, проведение пилотных исследований по созданию новых неинвазивных технологий нейроимиджинга.

Совместно с Институтом когнитивных нейронаук НИУ ВШЭ Центр биоэлектрических интерфейсов участвует в создании Уникальной научной установки «Реализация мероприятий и выполнение работ по дооснащению Автоматизированной системы неинвазивной стимуляции мозга с возможностью синхронной регистрации биотоков мозга и отслеживанию глазодвижения, обеспечивающих комплексное развитие инфраструктуры исследовательской деятельности, повышение уровня ее доступности и роста эффективности ее использования». В рамках программы развития материально-технической инфраструктуры «Развитие инфраструктуры научной, научно-технической деятельности (центров коллективного пользования, уникальных научных установок)» государственной программы РФ «Научнотехнологическое развитие Российской Федерации».

Образование и переподготовка кадров:

  • Сотрудники центра разработали ряд образовательных программ, которые были реализованы в НИУ ВШЭ 2018-2022 гг.
  • Стажировки в Центре биоэлектрических интерфейсов НИУ ВШЭ - 2.

Сотрудничество:

За время существования Центр биоэлектрических интерфейсов выстроил устойчивую внутрироссийскую и международную систему партнерства с ведущими учеными – экспертами в области научного исследования, бюджетными и коммерческими организациями.

  • Калифорнийский Университет в Лос-Анджелесе (США), Университет Мельбурна (Австралия), Центр нейрокогнитивных исследований (МЭГ-центр) (Россия), Федеральное государственное бюджетное учреждение науки институт высшей нервной деятельности и нейрофизиологии РАН (ИВНДиНФ РАН) (Россия), Федеральное государственное бюджетное учреждение науки институт высшей нервной деятельности и нейрофизиологии РАН (ИВНДиНФ РАН) (Россия), Федеральное государственное бюджетное учреждение науки Федеральный исследовательский центр химической физики им. Н.Н. Семенова Российской академии наук (ФИЦ ХФ РАН) (Россия), Московский государственный медико-стоматологический университет (Россия), Университет Гамбурга (Германия).

Российские и иностранные Организации - партнеры:

  • Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский государственный медико-стоматологический университет имени А.И. Евдокимова» Министерства здравоохранения Российской Федерации (ФГБОУ ВО МГМСУ им. А. И. Евдокимова Минздрава РФ): получение экспериментальных данных по локализации речевых и функциональных зон коры головного мозга, внедрение технологии пассивного речевого картирования.

  • «Российский научно-исследовательский нейрохирургический институт им. профессора А. Л. Поленова» (филиал федерального государственного бюджетного учреждения «Национальный медицинский исследовательский центр имени В. А. Алмазова» Министерства здравоохранения Российской Федерации, (РНХИ им. проф. А.Л.Поленова Минздрава РФ): получение экспериментальных данных по локализации речевых и функциональных зон коры головного мозга, апробация и внедрение методик анализа ЭкоГ данных для локализации невосполнимой коры головного мозга.

  • Федеральное государственное бюджетное учреждение «Федеральный центр мозга и нейротехнологий» Федерального медико-биологического агентства ФГБУ «ФЦМН» ФМБА России: апробация методов пассивного речевого картирования, разработка малоинвазивных систем для протезирования речевой функции; технологии низколатентной нейрообратной связи, методов неинвазивной диагностики пациентов; постинсультная реабилитация, проведение пилотных исследований по созданию новых неинвазивных технологий нейроимиджинга.

  • Федеральное государственное бюджетное образовательное учреждение высшего образования «Московский государственный университет имени М.В.Ломоносова» (МГУ им. М.В.Ломоносова): обмен научным опытом, научно-практические консультации.

  • Федеральное государственное бюджетное образовательное учреждение высшего образования «Самарский государственный медицинский университет» Министерства здравоохранения Российской Федерации: 2020-2022 гг. «Разработка технологий интерактивного мониторинга и стимуляции биоэлектрической активности коры головного мозга для решения задач персонифицированного выбора метода и способа двигательной реабилитации с учетом объективного контроля индивидуальных особенностей нейропластичности коры головного мозга» Разработаны протестированы на реальных пациентах методики использования программно-аппаратных комплексов (ПАК) для проведения поисковых исследований по изучению факторов, оказывающих влияние на восстановление моторной функции у постинсультных больных. Совместная разработка эффективных нейрореабилитационных подходов, основанных на индивидуальных особенностях пациента, особенностях его патологии.

  • Федеральное государственное бюджетное учреждение науки институт высшей нервной деятельности и нейрофизиологии РАН (ИВНДиНФ РАН): обмен научным опытом, научно-практические консультации.

  • Федеральное государственное автономное образовательное учреждение высшего образования «Национальный исследовательский Нижегородский государственный университет им. Н.И. Лобачевского» (ННГУ): обмен научным опытом, научно-практические консультации.

  • Федеральное государственное бюджетное учреждение науки Федеральный исследовательский центр химической физики им. Н.Н. Семенова Российской академии наук (ФИЦ ХФ РАН): научно-исследовательские разработки Экстраоперационная регистрация активности субталамического ядра для исследования двигательного контроля у пациентов с болезнью Паркинсона.

  • Центр нейрокогнитивных исследований (МЭГ-центр). Московский государственный психолого-педагогический университет (МГППУ): магнитоэнцефалографические исследования.

  • Институт искусственного интеллекта AIRI: разработка ПАК для низколатентной обратной связи на основе ЭЭГ.

  • ООО «Техкомпания Хуавей»: разработка и внедрение технологии распознавания речи на основе данных мозговой активности.

  • Фонд поддержки образования «НООСФЕРА»: Исследование электрофизиологических процессов у детей с особенностями развития. Разработка системы стимульных заданий для усовершенствования диагностических процессов, применение ЭЭГ картирования в образовательном процессе; Использование нейровизуализации в рамках нейропсихологической диагностики; Использование неинвазивного устройства для нейровизуализации когнитивных процессов. Апробация промежуточных и финальных результатов на базе подведомственного АНО «Детский центр развития и социализации «НЕЙРОСФЕРА».

  • Федеральное государственное бюджетное учреждение науки Физический институт им. П.Н. Лебедева Российской академии наук (ФИАН): создание датчика магнитного энцефалографа, обмен информацией, консультации, методологическая поддержка.

  • Общество с ограниченной ответственностью (ООО) «Нейроассистивные Технологии»: консультации, методологическая поддержка.

  • ООО «ЭкзоАтлет»: разработка и внедрение программного обеспечения, локомоторной функции экзоскелета при помощи идеомоторного интерфейса мозг-компьютер. Консультации, методологическая поддержка.

  • JSV «gtec», Германия: научные консультации, методологическая поддержка, разработка программно-аппаратных комплексов.

  • ООО «Мицар»: разработка и внедрение беспроводной технологий для реализации интерфейса мозг-компьютер, Научные консультации.

  • ООО «Медицинские компьютерные системы»: научные консультации, создание модификаций устройств для ЭЭГ регистрации.

Скрыть Показать полностью
Smetanin, N., Volkova, K., Zabodaev, S., Lebedev, M. A., & Ossadtchi, A.
NFBLab—A Versatile Software for Neurofeedback and Brain-Computer Interface Research // Frontiers in neuroinformatics, 2018. 12, 100. doi.org/10.3389/fninf.2018.00100 3.
Volkova, K., Lebedev, M. A., Kaplan, A., & Ossadtchi, A.
Decoding Movement From Electrocorticographic Activity: A Review // Frontiers in Neuroinformatics. 2019. 13. doi.org/10.3389/fninf.2019.00074
Lebedev, M. A., Ossadtchi, A., Mill, N. A., Urpí, N. A., Cervera, M. R., & Nicolelis, M. A.
Analysis of neuronal ensemble activity reveals the pitfalls and shortcomings of rotation dynamics // Scientific Reports, 2019. 9 (1), 1-14. doi.org/10.1038/s41598-019-54760-4
M. V. Sinkin, A. E. Osadchiy, M. A. Lebedev, K. V. Volkova, M. S. Kondratova, I. S. Trifonov, V. V. Krylov
High resolution passive speech mapping in dominant hemisphere glioma surgery // Russian Journal of Neurosurgery 2019 n.3, v. 21, 12-18 doi.org/10.17650/1683-3295-2019-21-3-37-43
Tomas Ros, Stefanie Enriquez-Geppert, Vadim Zotev, Alexey Ossadtchi, Mikhail A. Lebedev, et al.
Consensus on the reporting and experimental design of clinical and cognitive-behavioural neurofeedback studies // Brain 2020, Vol. 143. No. 3. P. 1-12 doi.org/10.1093/brain/awaa009
Nikolai Smetanin, Anastasia Belinskaya, Mikhail Lebedev and Alexei Ossadtchi
Digital filters for low-latency quantification of brain rhythms in real-time / Journal of Neural Engineering 2020, 29.07.20, 2. doi.org/10.1088/1741-2552/ab890f
Anastasiia Belinskaia, Nikolai Smetanin, Mikhail Lebedev and Alexei Ossadtchi
Short-delay neurofeedback facilitates training of the parietal alpha rhythm // Journal of Neural Engineering 2020, 16.12.20, doi.org/10.1088/1741-2552/abc8d7
Aleksandra Kuznetsova, Yulia Nurislamova, Alexei Ossadtchi
Modified covariance beamformer for solving MEG inverse problem in the environment with correlated sources // Neuroimage. 2021, 228, March. doi.org/10.1016/j.neuroimage.2020.117677
Petrosyan, A., Voskoboinikov, A., Sukhinin, D., Makarova, A., Skalnaya, A., Arkhipova, N., Sinkin, M. & Ossadtchi, A.
Speech decoding from a small set of spatially segregated minimally invasive intracranial EEG electrodes with a compact and interpretable neural network // Journal of Neural Engineering, 2022, In Press.
Kleeva D., Soghoyan G., Komoltsev I., Sinkin M., Ossadtchi A.
Fast parametric curve matching (FPCM) for automatic spike detection // Journal of Neural Engineering. 2022. Vol. 19. No. 3. Article 036003. doi.org/10.1088/1741-2552/ac682a
Патент 2 713 110 Заявка: 2018141556, 27.11.2018 https://www1.fips.ru/registers-doc-view/fips_servlet?DB=RUPAT&rn=7269&DocNumber=2713110& TypeFile=html
Способ оценки различий мощности осцилляторных компонент сигналов электроэнцефалограммы в психофизиологических состояниях на основе квантильного анализа Сметанин Н. М. Осадчий А. Е., Волкова К. В., Булгакова В. О. Заграничнова Д. В.
Патент 2 704 391 Заявка 2018147064, 2018.12.27. https://yandex.ru/patents/doc/RU2704391C1_20191028
Способ управления атомарным магнитометрическим датчиком при работе в составе многоканальной диагностической системы Осадчий А.Е., Вершовский А.К.
Номер регистрации (свидетельства): 2020610832 Номер и дата поступления заявки: 2019667717 31.12.2019 https://www1.fips.ru/registers-doc-view/fips_servlet
Программный комплекс для проведения экспериментов в парадигме активного касания с тактильной и прямой кортикальной стимуляцией. Программа для электронно вычислительных машин (ПР) Осадчий А.Е., Булгакова В.О., Лебедев М.А., Володина М.А., Кондратова М.С., Воскобойников А.М.
Номер регистрации (свидетельства): 2020611123 Номер и дата поступления заявки: 2019667708 31.12.2019 https://www1.fips.ru/registers-doc-view/fips_servlet
Пассивное картирование речевой функции по электро- кортикографическим измерениям активности мозга. Программа для электронно-вычислительных машин (ПР) Осадчий А.Е., Булгакова В.О., Лебедев М.А., Володина М.А., Кондратова М.С., Волкова К.В.
Заявка на изобретение: 2020 137 694, 17.11.2020 Приоритет PCT: RU.
Способ высокоточной реконструкции активности нейрональных источников коры головного мозга в условиях присутствия выраженной корреляции между источника Осадчий А.Е., Клеева Д.Ф., Кузнецова А.А., Нурисламова Ю.М.
Патент на полезную модель № 207767 U1. Заявка № 2021125071. Дата государственной регистрации в Государственном реестре полезных моделей РФ 15.11.2021г.
Полезная модель Устройство низколатентной нейрообратной связи Осадчий А.Е., Белинская А.А., Сметанин Н.М., Аксиотис В.А., Тумялис А.В.
Свидетельство о государственной регистрации программы для ЭВМ № 2021680608. Дата государственной регистрации в Реестре программ для ЭВМ 13.12.2021г.
Программа для ЭВМ. Экспресс расчет индекса попарной функциональной связности нейрональных источников по энцефалограмме. Осадчий А.Е.
Программа для ЭВМ Заявка № 2022616920 от 14.04.2022
Приложение для создания индивидуального адаптированного теста с целью локализации речевой зоны коры головного мозга. Осадчий А.Е., Володина М.А., Лебедев М.А.
Медиа
Вторник , 03.12.2019
Другие лаборатории и ученые
Лаборатория, принимающая организация
Область наук
Город
Приглашенный ученый
Период реализации проекта
Лаборатория «Гибридные методы моделирования и оптимизации в сложных системах»

Сибирский федеральный университет - (СФУ)

Компьютерные и информационные науки

Красноярск

Станимирович Предраг Стеван

Сербия

2022-2024

Лаборатория «Исследование сетевых технологий с ультра малой задержкой и сверхвысокой плотностью на основе широкого применения искусственного интеллекта для сетей 6G»

Санкт-Петербургский государственный университет телекоммуникаций им. проф. М. А. Бонч-Бруевича

Компьютерные и информационные науки

Санкт-Петербург

Абд Эль-Латиф Ахмед Абдельрахим

Египет

2022-2024

Лаборатория нелинейной и микроволновой фотоники

Ульяновский государственный университет - (УлГУ)

Компьютерные и информационные науки

Ульяновск

Тейлор Джеймс Рой

Великобритания, Ирландия

2021-2023