Введение

Задумывались ли вы когда-нибудь о том, как можно с помощью компьютера понять, что творится у вас в голове, и как его можно использовать?
Этой задачей занимаются исследователи интерфейса компьютер-мозг. В частности, исследуют электрокортикографию (ЭКоГ), поскольку, если считывать ее сигнал с электродов, расположенных на голове, можно получить высокую корреляцию между этими сигналами и желаемым действием человека, а именно движением конечностей. Это, по-видимому, полезно для протезного контроля и может обеспечить клинически осуществимое восстановление моторики у людей с параличом. В перечисленных ниже исследованиях используются данные, полученные на обезьянах, но следует упомянуть, что есть и работы, связанные с деятельностью человека.

Исходные данные ЭКоГ представлены многомерными временными рядами.

измерений напряжения на каналах Nᴄʜ. Требуется согласовать эти сигналы с другим многомерным целевым временным рядом:

Эти ряды преобразуются в набор данных:

Более наглядно схему сбора данных можно понять из:

Цель остается прежней — максимально точно предсказать траекторию движения руки по сигналам ЭКоГ. Для этого нужно найти функцию соответствия между Xᴋ и Yᴋ. Конечно, машинное обучение идеально подходит для этой задачи.

Работа с таким огромным набором данных сопряжена с трудностями. Например — высокая корреляция данных. Не только среди сигналов ЭКоГ, но и внутри запястных датчиков. Для решения этих проблем большинство описанных здесь подходов следуют единой логике — уменьшение размерности исходных данных (Xᴋ) при максимальном сохранении связи между ними и целевой переменной (Yᴋ ).

Линейные методы

Основным подходом к определению числовых переменных является линейная регрессия, представляющая собой линейную комбинацию (с весами w и смещениемb), определяемую следующим уравнением:

Однако у него есть свои недостатки. А именно его простота и высокая нестабильность из-за высокой корреляции данных. Эта болезнь исправляется за счет уменьшения количества зависимых переменных с помощью методов отбора признаков. Основные приемы отбора можно разделить на следующие категории:

  • Фильтрация: корреляция, QPFS, хи-квадрат.
  • Оболочки:функция выбора по функции/поднабору функций.
  • Встроенные:ЛАССО, ребро

Рассмотрим фильтрующие, так как в вычислительном отношении это выгоднее, чем полный перебор всех наборов признаков или регуляризация. Рассмотрим выбор функций квадратичного программирования (QPFS). Одним из основных его преимуществ, отличающих его от других методов фильтрации, является то, что он учитывает не только связь между признаками, но и важность признака для зависимой переменной. Это достигается за счет оптимизации функциональной корреляции признака с другими признаками и с целевой переменной:

Билинейные методы

Другой способ уменьшить размер данных — найти функцию для преобразования исходной выборки в более простое представление с низкой размерностью (скрытое состояние). Эта функция задается моделью частичного наименьшего квадрата (PLS), которая строит матрицы для совместного описания признаков X и целевой переменной Y, но меньшей размерности и при условии сохранения отношения между ними. Схема этого процесса представлена ​​на рисунке:

Таким образом, из сложного описания признаков исходных данных мы получаем простое представление в виде матриц T и U и робастную прогностическую модель (за счет меньшего числа зависимых переменных в них)

Случай тензорных данных

Что, если входные данные (частота × время × электрод) и выходные данные (координаты xyz) представлены тензорами, и мы не хотим возиться с предварительной обработкой данных? В этом случае на помощь приходит модификация PLS, но с префиксом N(N-PLS). Этот подход основан на аппроксимации исходного тензора, что не позволяет получить более информативное скрытое представление из-за некоторых ограничений. Поэтому целесообразнее использовать метод, основанный на разложении тензора на основной тензор, умноженный на набор матриц (он же разложение Такера) — Higher-Order PLS (HOPLS ):

Это успешная модификация PLS для многомерных массивов данных. С его помощью можно даже получить физическую интерпретацию сигнала ЭКоГ. Например, как его пространственные, спектральные и временные характеристики использовались для построения траектории конечностей.

Полученные результаты

Давайте посмотрим, как описанные выше методы справляются с задачей предсказания движения запястья на основе сигналов нашего мозга. Полученные по ним траектории хорошо согласуются с реальными и показаны на:

Основными метриками для этой задачи из литературы являются коэффициенты R² и Q², а также коэффициент корреляции (квадратный корень из >R²). Их удобно интерпретировать как степень соответствия сигнала с электродов траектории запястья. Их значения от работ указаны ниже:

Вкупе с тем, что визуально реконструированные ряды хорошо коррелируют с реальной траекторией, мы получаем сравнимые значения коэффициентов с явным преобладанием HOPLS. Неудивительно, ведь данный формат данных находится в собственном домене (мультииндексированные данные). Также стоит отметить, что, несмотря на простоту (относительную) PLS и QPFS+Linear Regression, восстановленные траектории показывают конкурентоспособные результаты.

Заключение

Благодаря прогрессу в области сбора и обработки сигналов, а также, что немаловажно, увеличению вычислительной мощности носимых устройств, можно сделать вывод, что у технологии BCI большое будущее. Однако его еще предстоит внедрить в общество и можно только догадываться, к чему это приведет. Одно можно сказать наверняка — машинное обучение — лишь одна из областей, необходимых для достижения этой цели.