Геометрический смысл собственных векторов

Графики — один из лучших способов увидеть суть ваших данных. Различия между переменными можно легко увидеть без каких-либо математических расчетов. Тем не менее, вы можете захотеть углубиться в детали и математически интерпретировать эти вариации и решить использовать ковариационную матрицу. Хотя ковариационная матрица кажется просто матрицей, показывающей дисперсию между переменными, она содержит важную информацию, которая может объяснить тенденции ваших данных. Такие свойства, как направление, наклон и величина вариации, можно найти с помощью собственных векторов ковариационной матрицы. Однако интерпретировать значения собственных векторов сложнее, чем интерпретировать график рассеяния. Поэтому важно знать, что означают собственные векторы геометрически. Это помогает понять физическое значение ковариационной матрицы. В этой статье я объясню физическое значение ковариационной матрицы на основе собственных значений и собственных векторов. В этой статье мы обсудим:

  • Нахождение таких свойств, как направление, наклон и величина вариации
  • Интерпретация направления, наклона и величины вариации
  • Создание визуального выражения направления, наклона и величины на точечной диаграмме с помощью собственных векторов.

Интерпретация графика рассеяния с точки зрения ковариации

Прежде чем мы углубимся в детали ковариационной матрицы, давайте попробуем понять, что мы можем предположить по диаграмме рассеяния с точки зрения вариации. Графики рассеяния на рисунке 1 показывают точки данных для переменных x и y. Есть по крайней мере три физических свойства, которые мы можем интерпретировать на основе ковариационной матрицы.

  • Величина максимальной вариации
  • Наклон вектора лежит на максимальной вариации.
  • Величина вариации в направлении, перпендикулярном максимальной вариации

Эти свойства показаны в правой части рисунка 1 синими и оранжевыми линиями. Эти линии были проведены путем угадывания возможных минимальных и максимальных отклонений без каких-либо расчетов. Синяя линия показывает, где точки данных наиболее подвержены изменениям, а оранжевая линия показывает, где точки данных менее подвержены изменениям, которые перпендикулярны синей линии.

Однако существует положительная вариация/связь между переменными «х» и «у». Тем не менее, мы не знаем точной разницы между размерами синей и оранжевой линий, так же как не знаем их наклона и положения. Знание этих свойств позволит нам математически определить отрицательную и положительную вариации и понять, как изменяется значение одной переменной в зависимости от вариации другой.

Геометрический смысл собственных векторов

Формула 1 показывает собственные векторы и собственные значения ковариационной матрицы переменных x и y. Если вы новичок в интерпретации собственных значений и собственных векторов, эти значения не должны звучать у вас в голове. Однако после того, как вы увидите, как эти числа преобразуются в физические векторы на точечной диаграмме, вы ясно поймете, что они означают. Прежде чем мы перейдем к геометрии, давайте посмотрим, какие матрицы изображены в формуле 1.

Лямбда представляет собственные значения, а v представляет собственные векторы. Столбец v1 — это первый собственный вектор, а столбец v2 — второй собственный вектор. Эти собственные векторы являются нормированными (единичными) векторами. Когда они будут умножены на соответствующие значения лямбда, мы получим их фактический размер относительно точек данных. Следовательно, собственные векторы представляют нормализованные векторы, а собственные значения представляют величину собственных векторов. Однако диагональные значения матрицы, представляющей собственные векторы, имеют одинаковый размер, но разные знаки, положительные и отрицательные. Это дает нам представление о том, перпендикулярны ли эти два вектора друг другу, как показано на рисунке 1. Это также означает, что векторы EV1 и EV2 представляют соответственно отрицательную и положительную вариацию.

Итак, что означают эти значения геометрически? Значения собственного вектора соответственно представляют точки x и y в системе координат. Как видно из формулы 2, первый и второй элементы собственного вектора показывают вектор, идущий от центра ((0,0) или средние значения переменных) к точке(-0.9192, 0.3937). Аналогично, линия, идущая от центра к точке(-0.3937, -0.9192) показывает второй собственный вектор.

Отобразим эти векторы в 2D системе координат.

Поскольку собственный вектор 1 (EV1) и собственный вектор 2 (EV2) являются нормализованными единичными векторами, они выглядят одинаково по размеру, но перпендикулярны друг другу. Это означает, что наклоны этих собственных векторов объясняют изменение с разных направлений. Первый вывод заключается в том, что EV1 занимает больше места по оси «x», чем по оси «y». Следовательно, изменение единицы EV1 изменит значения «x» больше, чем «y», и наоборот для EV2. Значения «y» и «x» изменяются в противоположном направлении по мере увеличения вектора EV1 на единицу. Однако при увеличении вектора EV2 на единицу значения «y» и «x» изменяются в одном направлении. Оба увеличиваются или уменьшаются.

Наклоны собственных векторов

Наклон собственных векторов можно найти, используя точки «x» и «y» собственных векторов. Поскольку наклон определяется как изменение «y», деленное на изменение «x», мы можем найти наклон EV1 по следующей формуле.

Slope EV1: Δy/Δx= (-0.9192 - 0) / (0.3937 - 0) = -2.334

И EV2;

Slope EV2: Δy/Δx= (-0.9192 - 0) / (-0.3937 - 0) = 2.334

Наклон EV1 отрицательный, а наклон EV2 положительный. Это снова указывает на то, что EV1 — это вектор, представляющий отрицательную вариацию, а EV2 — положительную вариацию.

Величина собственных векторов

Величины векторов доказывают, преобладает ли изменение между двумя переменными в положительном или отрицательном направлении. Умножение этих собственных значений на соответствующие собственные векторы поможет нам сравнить EV1 и EV2 и найти доминирующее направление изменения. Фактические размеры векторов показаны на следующем рисунке 3.

После умножения каждого вектора на соответствующие собственные значения разницу между собственными векторами можно увидеть на рисунке 3. Этот результат приводит нас к тому, что вектор EV2 обозначает более высокую вариацию, которая является положительной вариацией. Чтобы лучше понять это, эти векторы можно спроецировать на диаграмму рассеяния, изменив центральную точку с (0,0) на среднее значение «x» и «y», как показано на рисунке 4.

EV2 примерно в 25 раз больше, чем у вектора EV1. Это означает, что существует очень положительная связь между «x» и «y».

Выводы

Значения ковариации сами по себе содержат слишком много информации. Положительность/отрицательность и размер значений ковариации представляют соответственно направление и силу вариации. В этой статье мы глубоко погрузились в ковариационную матрицу и извлекли основные свойства, с помощью которых мы можем увидеть, что означают эти числа физически/геометрически. Знание того, как извлекать и интерпретировать эти свойства, поможет вам понять характерные особенности ваших данных.

Рекомендации

[1] Общий обзор собственного вектора: https://wiki.pathmind.com/eigenvector
[2] Нахождение наклона вектора: https://www.ck12.org/book/ck-12-trigonometry-concepts/section/5.18/
[3] Полное руководство по точечной диаграмме: https:/ /chartio.com/learn/charts/what-is-a-scatter-plot/