Моделирование оценки физиологических сигналов как проблема глубокого обучения

Начнем с небольшого упражнения. Но сначала я должен попросить вас надеть фитнес-трекер; У тебя есть один, верно? Ох .. ты думал, что упражнение было умственным? Катастрофически. Дело в том, что если вы хоть немного наблюдали за фитнес-устройством, которое сейчас находится у вас на запястье, вы заметили сияющий свет сзади (обычно зеленый). Теперь, если вы проявили любопытство или немного более наблюдательны, вы должны знать, что этот свет используется как средство (непреднамеренная игра слов) для извлечения импульсного сигнала с вашего запястья! И именно здесь вычисляются все жизненно важные, связанные с физиологией показатели, такие как частота сердечных сокращений, частота дыхания и т. Д., Которые вы видите на экране.

В течение прошлого года я работал в этой области оценки физиологических сигналов, которая является отличным инструментом для моего анекдотического введения. Будем надеяться, что повсеместное распространение фитнес-трекеров в настоящее время делает их узнаваемыми!

Оценка физиологического сигнала традиционно моделируется как задача обработки сигнала. Однако мы пытались оценить эти показатели жизнедеятельности в режиме глубокого обучения; Компьютерное зрение, если быть точным. Во-первых, давайте разберемся с терминологией, которую я намерен изложить наиболее кратко.

Фотоплетизмография (ФПГ)

В фитнес-трекерах используется метод под названием Фотоплетизмография (ФПГ) для «отслеживания» ваших показателей жизнедеятельности. Свет через запястье позволяет этим трекерам измерять пульс объема крови (BVP) сердечно-сосудистой системы путем изменения количества света, отражаемого или поглощаемого кровеносными сосудами под кожей. Обычно в здравоохранении это делается путем размещения контактных датчиков на кончиках пальцев, груди или ступнях пациента. В любом случае идея состоит в том, чтобы извлечь плетизмографический сигнал, который можно использовать для оценки физиологических показателей, таких как частота сердечных сокращений, частота дыхания, уровни насыщения кислородом и т. Д. Вы угадали: фото - в фото-плетизмографии обозначает среду, которая является светом. Важно отметить, что PPG - это недорогая альтернатива традиционному подходу к плетизмографии, который включает в себя сложное оборудование и обученных медицинских специалистов для измерения и анализа жизненных показателей пациента.

Осознав всеобъемлющий принцип фото-плетизмографии, мы теперь рассмотрим математическую модель, которая позволяет извлекать сигнал PPG из отраженного света.

Модель дихроматического отражения (DRM)

Модель дихроматического отражения (DRM) описывает C (t), т. Е. Свет, отраженный от поверхности объекта (который принимается датчиком), как линейную комбинацию двух основные компоненты. Этими двумя компонентами являются зеркальное (интерфейсное) отражение и диффузное (основное) отражение.

Зеркальное отражение - это регулярное отражение, которое наблюдается на зеркальных поверхностях, где луч света отражается под углом, равным его углу падения. С другой стороны, в случае диффузного отражения свет рассеивается под разными углами.

Примечание. Эти изменяющиеся во времени сигналы непрерывно регистрируются датчиком в течение определенного периода времени, t = [0, T].

Согласно DRM, два условия отражения, Vs (t) для зеркального отражения и Vd (t) для диффузные модулируются параметром интенсивности I (t). Кроме того, мы также учитываем коэффициент шума Vn (t), который количественно определяет шум, создаваемый датчиком.

Обратите внимание, что для того, чтобы все это произошло, измерительное устройство (даже если оно является относительно недорогим, пригодным для фитнеса) все еще должно контактировать с вашим телом (т. Е. С телом пациента). Другими словами, PPG - это контактный метод , где сигналы обычно измеряются с помощью контактных датчиков, размещаемых на кончиках пальцев, запястье или ступни. Однако такой тип постоянного контакта может не подходить для определенных приложений, таких как спорт и вождение, из-за проблемы ограничения движения, неудобства постоянного контакта и / или отвлечения внимания.

Добавление префикса «Remote-» в Remote-PPG

После вспышки COVID-19 мы все чувствуем себя лучше, когда вещи становятся менее болезненными и более бесконтактными, чем когда-либо прежде. Вуаля! акцентировать внимание на концепции удаленной фотоплетизмографии с ключевым словом удаленный. В дальнейшем мы будем называть этот термин r-PPG.

Исследования показали, что пульсирующий плетизмографический сигнал достаточно силен, чтобы его можно было зафиксировать, наблюдая за изменениями цвета кожи по серии изображений с помощью недорогих датчиков камеры RGB.

Расширяя краткое описание фото-плетизмографии, которое я предложил во введении, r-PPG предоставляет бесконтактный, ненавязчивый и сопутствующий метод измерения плетизмографии signal, позволяя нам извлекать импульсный сигнал из изображений и видео, а не через контактный датчик на носимом устройстве (см. изображение выше).

Пересматривая предыдущее определение, r-PPG позволяет удаленно измерять сердечно-сосудистый объем крови (BVP) путем изменения количества отраженного или всасывается кровеносными сосудами под кожей.

Предпосылка r-PPG, таким образом, позволяет извлекать пульсирующую информацию из видео лиц. Эта способность удаленно оценивать сигнал BVP и, как следствие, вычислять жизненно важные физиологические показатели, такие как частота сердечных сокращений, частота дыхания и насыщение кислородом, может быть применена к наиболее распространенным в мире сенсорам камер, которые находятся в наших смартфонах!

Итак, мы установили, что существует пульсирующий интересующий сигнал, p (t), который можно извлечь из последовательности изображений, содержащих кожу пикселей; например, видео для лица. Теперь давайте посмотрим, как на самом деле выполняется это извлечение.

Улучшение DRM для изображений

Изображения состоят из нескольких пикселей. Это помогает думать о каждом таком пикселе как о независимом датчике для задачи выделения пульсирующего сигнала, p (t). Следуя за всеми пикселями изображения в непрерывном наборе кадров изображения из видео, у нас остается временной ряд яркости пикселей (RGB) для каждого пикселя на временной шкале видео. Ссылаясь на наш предыдущий пример, основанный на обработке сигналов, каждый из этих данных временного ряда можно рассматривать как отдельный C (t). Теперь мы индексируем C (t) с k для обозначения времени. серия интенсивности пикселей, относящаяся к k-му пикселю. DRM может быть изменен для ввода изображения следующим образом:

Примечание. Эти изменяющиеся во времени сигналы получаются по нескольким кадрам изображения на видеовходе, т. е. t = [0, T] для видео, состоящего из T кадры. Мы получаем такой сигнал от каждого пикселя изображения.

Обратите внимание, что все изменяющиеся во времени компоненты C (t) могут быть записаны как комбинация статических компонентов постоянного тока (термины, которые не являются функцией времени) и времени - различные компоненты переменного тока. Имея некоторое представление об интересующем сигнале p (t) и учитывая состояние этой модели, мы делаем две незначительные перестановки в определении C (t).

Во-первых, мы избавляемся от члена Vn (t), который учитывает шум камеры и ошибку квантования. Это достигается на основе предположения, что шум камеры можно разумно устранить путем группирования (или усреднения) достаточно большого количества пикселей (то есть их интенсивности), находящихся в непосредственной близости. При обработке изображений это называется «пространственным усреднением», которое выполняется понижающей дискретизацией изображения с использованием интерполяции; опуская технические детали для краткости, мы имеем следующее:

Во-вторых, мы переупорядочиваем компоненты C (t), разделяя их на составляющие части зеркального и диффузного отражения, и группируем полученные элементы в зависимости от их природы постоянного / переменного тока. (как упоминалось ранее).

Обратите внимание, что не зависящие от времени термины постоянного тока из зеркального и диффузного компонентов собраны в один член, Uc для простоты. Теперь у нас остается комбинация совокупного члена отражения постоянного тока Uc и двух изменяющихся во времени сигналов s (t) и p (t), все из которых модулируются параметром интенсивности i (t) . Хотя я знаю, что это можно рассматривать как чрезмерное упрощение, элементарная идея состоит в том, чтобы извлечь интересующий пульсирующий сигнал, например p (t) из цветовой сигнал C (t), который мы получаем на датчике камеры.

Как упоминалось ранее, традиционно задача извлечения r-PPG трактовалась как проблема обработки сигналов. Однако недавние успехи в использовании подходов, основанных на глубоком обучении, показали достаточно достоинств, чтобы оправдать дальнейшие исследования.

Войдите в глубокое обучение

Глубокое обучение, в частности компьютерное зрение, дало нам возможность разрабатывать сквозные глубокие нейронные модели для решения многих сложных задач, которые в противном случае потребовали бы многоэтапных конвейеров обработки, часто включающих ручные манипуляции с функциями. Пандемия привела к серьезным преобразованиям в здравоохранении во всем мире. Например, удаленная консультация и диагностика с помощью платформ телездравоохранения или даже видеоконференцсвязи стали обычным явлением за последний год или около того. Следовательно, желательна сквозная структура для восстановления физиологических сигналов, и она кажется логическим следующим шагом с учетом контекста.

Это грубая визуализация того, как будет выглядеть сквозной конвейер r-PPG с использованием Deep Learning. Над этим конвейером ведется много исследований и работы, чтобы сделать его устойчивым к видео, подверженным движению (то есть там, где объект может двигаться, как при занятиях фитнесом), видео, подверженным плохим условиям освещения или неоднородному освещению, но основная предпосылка заключается в для наилучшего извлечения импульсного сигнала r-PPG p (t) из входных видео.

Я советую вам усвоить всю эту информацию (особенно математическое моделирование) с долей скепсиса, поскольку есть определенные условия взаимодействия, которые я намеренно упустил для простоты. Я хочу, чтобы читатель сосредоточился на идее, что видео, снятое даже самой простой камерой смартфона, содержит след пульсирующего сигнала p (t), который можно извлечь, с учетом правильного набора инструментов. Этот плетизмографический сигнал p (t) можно использовать для определения важных жизненно важных показателей, таких как частота сердечных сокращений, частота дыхания и Уровни SpO2 (показатель насыщения крови кислородом).

Я надеюсь, что благодаря этой вводной статье читатель сможет оценить перспективность и потенциальное применение глубокого обучения для решения задач удаленной оценки PPG; моделирование как задача компьютерного зрения.

Привет! Спасибо, что прочитали статью. Вообще говоря, это тема моей дипломной работы. Чтобы представить идею и создать предпосылку, я абстрагировался от многих технических деталей. Для более технически подкованных я добавляю список некоторых полезных статей. Кроме того, позвоните мне, если хотите узнать больше! И дайте мне подписаться за дополнительным контентом :)

Использованная литература:

1. Фотоплетизмограмма, https://en.wikipedia.org/wiki/Фотоплетизмограмма
2. Фотоплетизмография с помощью голографической лазерной доплеровской визуализации, имя пользователя: Микатлан, Википедия с лицензией CC BY-SA 4.0
3. Chen et al. DeepPhys: физиологические измерения на основе видео с использованием сетей сверточного внимания. Труды Европейской конференции по компьютерному зрению (ECCV) 2018
4. Сканирование мозга ЭЭГ Тима Шерман-Чейза имеет лицензию CC BY 2.0. Чтобы просмотреть копию этой лицензии, посетите https://creativecommons.org/licenses/by/2.0/.
5. Рэйчел в Facetime Уэсли Фрайера имеет лицензию CC BY-SA 2.0. Чтобы просмотреть копию этой лицензии, посетите https://creativecommons.org/licenses/by-sa/2.0/
6. Https://www.noldus.com/blog/what-is-rppg, Научный блог о r-PPG