Конспект лекций FAU по распознаванию образов, CODEX

Актуален ли линейный дискриминантный анализ на практике?

LDA - Примеры

Это конспекты лекции FAU на YouTube Распознавание образов. Это полная стенограмма видео лекции и соответствующие слайды. Исходники слайдов доступны здесь. Надеемся, вам понравится это не меньше, чем видео. Эта стенограмма была почти полностью сгенерирована машиной с использованием AutoBlog, и в нее были внесены лишь незначительные изменения вручную. Если вы заметили ошибки, сообщите нам об этом!

Навигация

Предыдущая глава / Посмотреть это видео / Следующая глава / Верхний уровень

С возвращением в раздел "Распознавание образов". Вы видели, что мы обсуждали линейный дискриминантный анализ, а также связанную с ним классификацию. Сегодня мы хотим рассмотреть несколько вариантов применения этой техники. И мы хотим показать вам, что это не просто то, что вы найдете в учебниках, но это фактически используется в нескольких различных вариантах.

Здесь вы видите adidas_1 - цифровую революцию в спорте. На самом деле это работа, которую проделал мой коллега Бьорн Эскофьер. Они внесли значительный вклад в разработку этой интеллектуальной обуви. Так что это был первый раз, когда в кроссовки были встроены сенсоры. Подошва обуви была сконструирована таким образом, что имела чувствительный и моторный элементы. Так обувь могла регулировать жесткость подошвы. Это очень интересно, потому что если вы бегаете по пересеченной местности, то иногда вы попадаете на твердую почву. В этих случаях вам нужно, чтобы ваша обувь была очень мягкой. Но в других случаях вы бежите по очень мягкой почве, и в этих случаях жесткая подошва действительно может предотвратить травмы. Таким образом, умная обувь, которая приспосабливается к полу, почве или местности, по которой вы бегаете, - очень хорошая идея для предотвращения любых травм во время занятий спортом. Эта обувь была изготовлена ​​компанией Adidas. Таким образом, вы действительно могли купить его в магазинах, а система распознавания и распознавания была разработана в нашей лаборатории.

Итак, каков обзор? Итак, у вас был этот амортизирующий элемент, обозначенный здесь цифрой 01, который имеет магнитную систему для измерения сжатия. Затем у вас был микроконтроллер и пользовательский интерфейс, которые по сути представляют собой кнопки на обуви. У этого была тактовая частота 24 МГц, а у вас было только восемь КБ памяти для программ. Затем был двигатель для адаптации подушки с помощью тросовой системы. Понимаете, проблема здесь в том, что вы можете очень мало вычислять в обуви. Таким образом, эта встроенная система действительно нуждается в быстрой обработке и простых методах для выполнения классификации. Именно здесь и появляются наши идеи с преобразованием функций.

Вы можете сделать только пару очень простых функций на обуви, и они должны рассчитываться в режиме реального времени. Тогда сама классификация также должна быть очень эффективной, потому что у вас сильные ограничения памяти и вычислений. Поэтому здесь нам действительно может помочь классификатор LDA. Классификатор LDA хорош тем, что он, по сути, отображает эту двухклассовую проблему в линейную границу решения. Следовательно, теперь мы можем аппроксимировать эту двухклассовую задачу полиномом первого порядка. Нам просто нужно ввести веса αi и характеристики xi, чтобы их вычислить. Таким образом, фактическое решение затем выполняется как знак проекции на эту границу класса с соответствующим смещением. А затем вы решаете, находитесь ли вы на одной стороне плоскости или на другой стороне этой многомерной гиперплоскости.

Что касается характеристик, то для классификации в этой обуви было вычислено 19 характеристик. Тогда в итоге для реализации было выбрано всего три функции. Идея расчета этих характеристик заключается в анализе сигнала ступеньки и изменения амортизирующего материала. Итак, вам нужно определить, когда выполняется шаг. Затем вы можете определить, насколько сильно изменился амортизирующий элемент, насколько сильным будет фактическое воздействие на поверхность. И вы также можете увидеть по крутизне, как реагирует материал, на котором вы работаете, или вся система. Отсюда вы можете контролировать жесткость своей обуви.

Мы также можем визуализировать это в трехмерном пространстве, потому что у нас есть три функции. Здесь вы можете увидеть классы твердой и мягкой поверхности. Вы видите, что здесь они образуют приблизительно гауссовские классы, так что теперь мы можем очень хорошо применить нашу теорию. Итак, мы получаем границу принятия решения, а затем просто решаем, что в этом случае мы находимся на одной или другой стороне границы принятия решения. Это очень хорошее применение классификатора LDA на практике во встроенной системе с очень жесткими вычислительными ограничениями.

Еще одна идея, которую я хочу показать вам в этом контексте, - это моделирование форм. Идея здесь в том, что мы делаем выборку точек поверхности формы. Итак, это трехмерная форма, и, в частности, нас здесь интересует моделирование анатомических структур, таких как органы, печень, почки, легкие и так далее. Мы можем выбрать их как точки поверхности. Итак, мы берем фиксированное количество точек для каждой формы. Обычно это трехмерные точки, а всего у нас n точек. Затем мы можем закодировать поверхность, при условии, что у нас есть правильный порядок точек, в один вектор. Итак, мы записываем это как многомерный вектор, который затем содержит все элементы трехмерных точек. И это тогда жизнь в пространстве, размерность которого трижды n, где n - количество точек. Итак, это очень многомерное пространство. Сейчас это сложно смоделировать, и вы хотите иметь возможность моделировать степень изменения формы в зависимости от анатомии у разных пациентов.

Идея, которая у нас есть, состоит в том, что у нас есть m фигур, а это означает, что у нас есть m векторов форм, которые дают нам эту конфигурацию ориентира. Итак, здесь каждый вектор x имеет размерность, умноженную на три n, и всего у нас есть m наблюдений. Затем это позволяет нам вычислить PCA для L и получить спектральное разложение связанной ковариационной матрицы. Здесь вы можете видеть, что мы, по сути, получаем собственные векторы и связанные с ними собственные значения. И если мы их просуммируем, они снова дадут соответствующую ковариационную матрицу. Таким образом, это, по сути, вычисляется с помощью анализа главных компонентов.

Теперь, если у нас есть это, мы можем моделировать все наши формы с некоторым x *, что по сути дает нам конфигурацию формы. Затем конфигурацию формы можно выразить как линейную комбинацию собственных векторов. Итак, мы берем среднюю форму, которая равна x̅, и x̅ добавляется к количеству выбранных размеров. Предположим, у нас есть три или пять основных способов вариации, потому что они уже объясняют, скажем, 95% вариации вариаций формы. Затем мы можем использовать эти, скажем, пять измерений, чтобы выразить наиболее значительные изменения в форме этих показателей. По сути, мы получаем только пять чисел, которые описывают нам, как выглядит форма.

Это довольно круто, и это также позволяет нам моделировать различные формы. Вот, скажем, почка. Эта почка имеет разные формы и разные пациенты, и мы используем так называемую модель активной формы, чтобы произвести сегментацию. Приятно то, что теперь нам нужно только оценить вращение и перемещение по отношению к соответствующему органу и центроиду в объеме. Тогда форма может быть описана очень немногими параметрами, как мы видели на предыдущем слайде. Здесь вы, по сути, видите изменения формы первых двух собственных векторов. Слева вы видите изменение формы по первому измерению собственного вектора, с правой стороны - изменение по второму собственному вектору. Итак, теперь мы можем использовать это и оценить вращение, перемещение и эти параметры формы.

Здесь вы видите процесс подгонки через итерацию. Итак, мы начнем со средней формы, которая вписывается в почку. И вы видите, по сути, срез тела. Также мы указываем срез сетки фиолетовым цветом. В ходе итераций вверху справа, внизу слева, внизу справа вы можете увидеть, как изменение параметров формы позволяет нам намного лучше аппроксимировать наблюдаемую форму в объеме CT.

Затем получается полная трехмерная сегментация почки. Это очень популярный метод, если вы хотите разбить сложность форм на несколько измерений. Это также позволяет вам затем пробовать правдоподобные конфигурации формы из этой модели формы. Итак, PCA - очень полезный инструмент для описания сложных вариаций анатомических изменений тела. Если вас заинтересовала эта тема, посетите наши лекции по обработке медицинских изображений. Здесь мы рассмотрим все детали метода, как выполняется алгоритм поиска активного моделирования формы, который преобразует изображение, которое необходимо выполнить, чтобы оно работало, и так далее. Так что я действительно могу порекомендовать изучить эти классы.

На этом мы уже подошли к концу этого видео. В следующий раз, когда мы поговорим о распознавании образов, мы хотим поговорить немного подробнее об общей проблеме регрессии и о том, как регрессию можно регуляризовать. Это очень важная концепция, которая нам также понадобится в следующих нескольких видеороликах. Большое спасибо за внимание, и я с нетерпением жду встречи с вами в следующем видео! Пока-пока.

Если вам понравился этот пост, вы можете найти больше эссе здесь, больше образовательных материалов по машинному обучению здесь или взглянуть на нашу Лекцию Глубокое обучение. Я также был бы признателен за подписку на YouTube, Twitter, Facebook или LinkedIn, если вы хотите получать информацию о новых эссе, видео и исследованиях в будущем. Эта статья выпущена под лицензией Creative Commons 4.0 Attribution License и может быть перепечатана и изменена при наличии ссылки. Если вас интересует создание стенограмм видеолекций, попробуйте Автоблог.

использованная литература

  • Ллойд Н. Трефетен, Дэвид Бау III: Численная линейная алгебра, SIAM, Филадельфия, 1997.
  • Matrix Cookbook, https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf
  • Т. Хасти, Р. Тибширани и Дж. Фридман: элементы статистического обучения - интеллектуальный анализ данных, вывод и прогнозирование. 2-е издание, Спрингер, Нью-Йорк, 2009.
  • Б. Эскофьер, Ф. Хениг, П. Кюнер: Классификация воспринимаемой усталости при беге в цифровом спорте, Труды 19-й Международной конференции по распознаванию образов (ICPR 2008), Тампа, Флорида, США, 2008 г.
  • М. Шпигель, Д. Хан, В. Даум, Дж. Ваза, Дж. Хорнеггер: Сегментация почек с использованием новой техники создания модели активной формы, основанной на нежесткой регистрации изображений, Компьютерная медицинская визуализация и графика 2009 33 (1): 29–39