Интерфейс мозг-компьютер восстанавливает чувство прикосновения с помощью тактильных сигналов

Менее чем через год после травмы спинного мозга Ян Буркхарт был готов ко всему, что было дальше. В результате несчастного случая во время дайвинга в 2010 году ему повредили позвоночник, и Беркхарт потерял чувствительность и подвижность ниже бицепса. Но он не отказался от некоторых из этих способностей.

Он работал с врачами и физиотерапевтами в Медицинском центре Векснера при Университете штата Огайо, чтобы справиться с последствиями своей травмы. Через несколько месяцев после начала лечения он начал расспрашивать свою медицинскую бригаду о возможных вариантах.

«Я хотел знать, что возможно сегодня, и на что я могу надеяться в будущем», - говорит он.

Через три года после травмы он узнал, как принять участие в формировании этого будущего. Экспериментальное испытание интерфейса мозг-компьютер (BCI) планировалось командой из штата Огайо и Battelle, всего в нескольких кварталах от того места, где Беркхарт получал помощь.

«Это сработало идеально», - говорит Буркхарт. «Это было нужное место в нужное время».

Подключение мозга напрямую к мышцам

Нервная система - это канал связи между мозгом и остальным телом. Он передает сигналы в мозг и из него, обеспечивая связь с мышцами и кожей, поэтому, когда вы думаете «взять карандаш», нервы обеспечивают осязание, и ваша рука реагирует, сгибая правильные мышцы, чтобы сделать щипательное движение. . Когда нервная система повреждена, эти сигналы могут быть заблокированы от достижения своей цели, что приводит к параличу и неспособности чувствовать.

BCI используют вычислительные системы для записи и анализа сигналов мозга, отправляя эти сигналы в виде команд на устройство, которое выполняет действие. Ученые десятилетиями работали над разработкой BCI для людей, живущих с параличом, но эти системы по-прежнему в основном ограничены лабораториями. Целью команды штата Огайо и Battelle, а также других групп является создание портативного устройства, которое может восстановить некоторые функции и независимость этих людей.

Некоторые BCI анализируют электрические сигналы мозга с помощью электроэнцефалограммы (ЭЭГ), системы с электродами, прикрепленными к коже черепа, для регистрации активности мозга. ИМК на основе ЭЭГ позволяют участникам делать простые вещи, такие как перемещение курсора по экрану, используя только свои мысли, или сложные задачи, такие как управление роботизированным протезированием.

Другие BCI требуют хирургической имплантации компьютерных чипов прямо в мозг. Эти чипы имеют набор электродов, которые записывают сигналы от небольшой, но специфической группы нейронов. Хотя эти системы гораздо более инвазивны, они обеспечивают точность, поскольку электроды записывают данные непосредственно с нужных клеток. Исследователи из Бэттел и штата Огайо выбрали имплантированный чип для воссоединения определенной части моторной коры головного мозга с парализованными мышцами руки Беркхарта. Система Баттелля под названием NeuroLife была разработана, чтобы помочь Беркхарту восстановить сознательный контроль над своими пальцами, кистью и запястьем.

Поэтапный подход

Самая ранняя версия системы Battelle вообще не была BCI. Перед операцией по имплантации чипа Беркхарт протестировал устройство, которое помогало бы его мышцам двигаться, которое на тот момент состояло из электродов, прикрепленных к его руке. Когда электроды подавали небольшой ток на его предплечье, они сигнализировали определенным мышцам, чтобы они активировались и сгибались.

Вместо того, чтобы использовать его мысли для управления устройством, компьютер активировал электроды, стимулируя движение мышц. «Эта первая фаза продемонстрировала достаточно многообещающие результаты, и Ян согласился участвовать в исследовательском проекте», - говорит Патрик Ганзер, главный научный сотрудник Battelle.

«Иэн никогда не сомневался, что это сработает», - говорит Марси Бокбрейдер, доцент, врач физической медицины и реабилитации Университета штата Огайо и главный исследователь этого испытания. «В его голове всегда стоял вопрос, как его использовать».

В 2014 году Беркхарт перенес операцию на головном мозге в Медицинском центре Векснера при OSU по имплантации чипа. Этот чип размером с горошину, сделанный Blackrock Microsystems, Inc., находится в его моторной коре, области мозга, ответственной за генерацию произвольных движений. «У него маленькие провода, которые действуют как микрофоны; каждый слушает горстку клеток мозга », - говорит Ганцер. После установки чипа исследовательская группа была готова к работе над второй фазой с более сложным интерфейсом.

Используя MATLAB®, команда разработала алгоритмы машинного обучения, которые могут расшифровывать мысли Буркхарта, когда чип записывает его мозговую активность. Чтобы перевести мысли Буркхарта в движение рукой, системе NeuroLife необходимо было обойти спинной мозг. Эта технология нейронного обхода стимулирует мышцы руки Беркхарта, передавая сигналы мозга на компьютер, где алгоритмы декодируют сигналы и преобразуют их в команды. Эти команды управляют действием гильзы электродов, которая обвивает предплечье Беркхарта, стимулируя его мышцы двигать ими в соответствии с его мыслями.

Через несколько лет после травмы с помощью этого BCI Беркхарт мог двигать рукой, чтобы провести карточку, размешать кофе и даже сыграть в версию Guitar Hero®. «В конечном итоге все эти инновации были созданы благодаря Иену», - говорит Бокбрейдер. «Он не был удовлетворен и всегда думал о том, что будет дальше».

Ощущение и чувство

Этот удивительный прорыв представлял собой одностороннее направление общения. Беркхарт мог посылать сигналы своей руке. Он мог играть на гитаре, но не чувствовал гитару в руке.

Тогда у Ганзера появилась идея. Он пошел к остальной группе исследователей и предложил поэкспериментировать, чтобы увидеть, улавливает ли чип в мозгу Беркхарта какие-либо остаточные ощущения прикосновения. Возможно, сигналы все еще поступали в мозг через несколько оставшихся неповрежденных волокон в его позвоночнике, даже если Беркхарт не мог воспринимать прикосновения.

Находясь в моторной коре головного мозга, чип якобы улавливал только моторные намерения Беркхарта. Но мозг приспосабливается, и границы между областями мозга могут меняться. По словам Ганзера, возможно, некоторые нейроны, обрабатывающие прикосновения, подавали слабый сигнал в моторную кору. Его коллеги поначалу были настроены скептически. Дэвид Фриденберг, старший научный сотрудник Battelle, помнит, как выражал сомнения, но подумал, что, возможно, стоит попробовать.

Чтобы проверить эту идею, они завязали Буркхарту глаза и коснулись разных частей его руки и кисти. Анализируя записи с чипа в его мозгу, они могли сказать, что участок моторной коры собирал небольшое количество тактильной информации, даже когда Беркхарт сообщил, что ничего не чувствовал.

Беркхарт не одинок в этом. В нескольких исследованиях анализировалась активация мозга и сенсорное восприятие у людей с травмами спинного мозга, такими как у Беркхарта. Эти исследования показывают, что до половины таких травм связаны с «сенсорным расстройством». Как и Беркхарт, другие люди с сенсорными неполными повреждениями не могут чувствовать прикосновения, но остаточные нервные волокна по-прежнему посылают сенсорные сигналы в мозг. Следующим шагом для группы Battelle и OSU было выяснить, как использовать эту информацию в интересах Буркхарта.

Первоначальная система NeuroLife позволяла Буркхарту совершать движения рукой, но он по-прежнему почти не чувствовал, когда прикасается к объекту. Из-за отсутствия ощущений Буркхарт не мог достоверно сказать, когда он держал предмет, если только он не смотрел на свою руку. Команда Battelle и OSU хотела обеспечить недостающую сенсорную обратную связь.

«Возможность получения сенсорной информации значительно улучшит работу системы и позволит мне быть более независимым, когда я использую систему», - говорит Буркхарт. «Но я не думал, что это вообще возможно без еще одной операции по имплантации другого устройства в сенсорную область моего мозга».

Баттель работал с Беркхартом, чтобы разработать устройство, которое будет работать с системой NeuroLife и обеспечивать сенсорную обратную связь. Они не смогли бы восстановить осязание руки Буркхарта, но они могли бы использовать остаточные сигналы мозга, воспринимающие прикосновения, и BCI, чтобы обеспечить искусственную обратную связь Буркхарту, когда он схватил объект.

Для этого команде нужно было найти способ направить эти мозговые сигналы на устройство, расположенное в том месте на теле Беркхарта, где все еще сохранялись ощущения. «Было непросто найти лучший способ передать ему эту информацию так, чтобы он мог ее понять и осмыслить», - говорит Фриденберг.

Беркхарт хотел, чтобы устройство было чем-то, что он мог ощущать и контролировать как можно более естественно. Он и Баттель протестировали несколько разных идей, например, положить устройство обратной связи ему на спину и заставить его вибрировать, когда он касается объекта. У Буркхарта все еще оставались ощущения, но устройство должно было быть где-то более естественным для него. Ему нужно было связать искусственную сенсорную обратную связь с тем фактом, что он к чему-то прикасается. «Таким образом, моему мозгу не пришлось бы много переучиваться», - говорит Беркхарт.

В конце концов, они остановились на вибротактильной повязке, которая обвивает бицепс Беркхарта. Эта область была неповрежденной и казалась Беркхарту самой естественной. Чтобы передать сенсорную информацию от мозга к устройству, исследователи создали и обучили алгоритмы машинного обучения в MATLAB, чтобы обнаруживать и декодировать субперцептивные сенсорные сигналы мозга. Когда Беркхарт касался объекта во время использования BCI, эти алгоритмы разделяли моторные и сенсорные сигналы, передавая обратную связь касания на вибротактильную полосу и моторные сигналы на гильзу электрода. Вибротактильная полоса вибрировала в реальном времени, сигнализируя Беркхарту о том, что он прикасается к объекту.

Первые несколько попыток с устройством были немного неудобными. В то время как Буркхарт получал сенсорную обратную связь, она касалась объекта на его бицепсе, а не на руке. «Это была большая проблема - изменить карту этой части мозга», - говорит Беркхарт. «Это потребовало некоторой практики, прежде чем я смог соединить эти две части вместе».

Хотя без обратной связи Буркхарт должен угадать, касается ли он объекта, который не видит, с помощью вибротактильного устройства он может определить, держится ли он за объект более 90% времени, даже с завязанными глазами. Без активной системы искусственной сенсорной обратной связи Беркхарт в основном угадывает или полностью не может распознать прикосновение к объекту, в зависимости от размера объекта. «Это было довольно удивительно, когда я впервые смогла сделать тест с завязанными глазами», - говорит Буркхарт.

Беркхарт не только может поднимать предметы, не глядя, но и более уверен в использовании системы благодаря искусственной сенсорной обратной связи. «Это очень важно, потому что я знаю, что не собираюсь ничего уронить, когда использую эту систему», - говорит он. «Подобные вещи действительно делают эту систему более естественной в использовании».

Однако эта последняя версия BCI все еще слишком громоздка и сложна для использования Burkhart дома. В настоящий момент его можно использовать только в лаборатории, и его настройка сложна. Система часто требует настройки и повторной калибровки. Несмотря на эти проблемы, команда уверена, что однажды Буркхарт сможет использовать это дома.

«Семь лет назад, когда мы только начинали, это казалось очень надуманным», - говорит Фриденберг. Но теперь он говорит, что к этой цели мало что стоит.

«Это вселяет большие надежды на будущее, что подобное устройство изменит жизнь таких людей, как я», - говорит Буркхарт. «Это то, чего я жду с нетерпением».