Понимание линейной алгебры в путешествии — — Часть Ⅱ: От подпространств к SVD

Об этой истории

Это второй рассказ этой рубрики о линейной алгебре, от четырех фундаментальных подпространств до SVD — — Разложение по сингулярным значениям. Вычисление здесь не главное, поэтому я не буду уделять много внимания тому, как вычислять сингулярные значения и так далее. Эта история просто пытается ответить на один простой вопрос: Почему СВД? Я думаю,эта тема была бы более интересной и сложной, если бы вы поняли Что такое SVD и Как реализовать SVD .

Может быть несколько отправных точек, из которых вы мыслите и рассуждаете логически и, наконец, придумываете SVD. Здесь я приведу одну из них, с моей точки зрения, приемлемое объяснение о том, что вдохновляет людей на внедрение СВД, как отсылку к тем, кто запутался в ее регионе.

Предпосылки

Чтобы обеспечить полное понимание, убедитесь, что вы знаете следующие выводы.

1. Матрица A из m×nотправляет вектор xв n -размерв пространство столбца A, когда A действует на него.
2. Любой вектор x в n-измерении может быть однозначно разложен на сумму двух векторов, компонента строкового пространства и компонента пустого пространства относительно A.

Вы можете обратиться к предыдущей истории, чтобы понять их!

Начните с того, что мы знаем

Вспомните, что мы знаем о матрице A. Он отправляет каждый вектор в n-измерении в пространство своего столбца. И из всех n-мерных векторов строится столбцовое пространство. Какая связь, соединяющая входное пространство и выходное пространство!

Какой отличный инструмент для анализа пространства? Основа, верно! Если мы знаем основу пространства столбцов, мы знаем все пространство столбцов. Можем ли мы получить основу из Ax(т.е. найти некоторое x такие, что эти Axконструируют базис пространства столбца)?Более точно , мы знаем базис, а лучше ортогональный базис и лучший ортонормированный базис, можем ли мы получить ортонормированный базис пространства столбцов? Абсолютно осуществимо! (Все пространство столбцов происходит из Ax, почему не единственный ортонормированный базис?)

Зная, что это абсолютно осуществимо, можем ли мы ожидать большего? Например, могут ли входные векторы быть ортонормированными?

Давайте обсудим это «формально»!

«Формальное» описание вопроса

Можем ли мы найти набор v и us, такое, что u являются ортонормированным базисом пространства столбцов, а v (случайно? )ортонормированный базис n-размерности? (Обратите внимание, что здесь v не обязательно предполагается в пространстве строк.)

Пока мы не выяснили, является ли такое ожидание жадным. Но! Ортонормированный базис к ортонормированному базису, звучит правильно! Однако проблема заключается в том, что, если возможно, как мы их найдем?..

Ну, на самом деле я понятия не имею. Но как насчет того, что мы их нашли? Это интересно, давайте на мгновение оставим сложную проблему и вместо этого «представим», что мы их нашли.

«Представьте», что мы нашли нас, vs, σs

Представленные один за другим найденные vs, us и коэффициент масштабирования σs можно перечислить следующим образом:

Все, кто это видит, не могут не представить их в матричной форме:

где

Просто объедините их, и они будут выглядеть красиво. Возникает еще один вопрос: как насчет левого пустого пространства?

Левое нулевое пространство

Основа для столбцового пространства найдена, так что мы можем, кстати, рассмотреть это для левого нулевого пространства? На самом деле, почти нет разницы с тем, когда мы обсуждаем Av=σu для столбцов, за исключением двух моментов:

1. Обе части уравнения должны быть 0 из-за того, что Avдолжен быть в столбце, σu теперь находится в левом нулевом пространстве, и единственное их пересечение — нулевой ветор.
2. Следствием этого является то, что для левой стороны vограничено (утверждается) единичным вектором в пустом пространстве A', для правой стороны, σ ограничивается (утверждается) только нулем.

Может быть, вы скажете: «Хорошо, я вижу, и что? Зачем упоминать левое нулевое пространство? Поможет ли это справиться с поиском v,u,σв пространстве столбцов?»

На самом деле это так. Давайте запишем их.

где

Здесь от v(r+1) до v(n)являются основой для пустого пространства, u(r+1) до u(m)являются основой для левого нулевого пространства, Σ является нулевая матрица mr на nr.

Таким образом, мы получаем выражение для левого пустого пространства, которое подразумевает, что v(1) to v(r) поступают из пространства строк A из-за ортогональности v, которую мы ожидаем, и ортогонального дополнительного характера пространства строк и пустого пространства.

Что ж, давайте интегрируем их:

Очевидно, U, V являются ортогональными матрицами, что указывает на следующую известную форму:

Хватит воображать!

Что ж, только что мы провели мысленный эксперимент, который значительно улучшил наш анализ этой сложной проблемы: как мы находим vs, us, σs? На самом деле это кажется более практичным сейчас. Может быть очевидно, что:

Более четко:

это означает, что v и u получаются из собственных векторов, σ приходят из корневых собственных значений все относительно A транспонировать A и AA транспонировать.

Здесь комментарий: AB и BA имеют одинаковые ненулевые собственные значения и остальные нулевые собственные значения. Это можно легко проверить.

Резюме

На протяжении всего отрывка мы можем видеть, что именно анализ, в котором мы предполагаем, что нашли те сингулярные векторы, имеет наибольшее значение. При тщательном и всестороннем анализе проблема «как их найти» выглядит просто как тривиальное задание из учебника.

Пересмотрите проведенный нами анализ, и мы увидим, что SVD обеспечивает лучший способ описания эффекта матрицы A. Что это значит? Во время SVD мы проанализировали, что A будет делать для каждого найденного v, и разделили эти v. em> на две категории:

• v в пространстве строк — — преобразуются в пространство столбцов, при этом ортогональность между ними сохраняется.
• v в пустом пространстве — — отправлено 0

При желании мы также можем анализировать с точки зрения линейного преобразования. Учитывать

, что эквивалентно Ax.

1. «V транспонировать раз x» выполняет базовое преобразование, преобразует x в V-основанное n-измерение. То есть ранее xпредставляет координаты относительно нормального базиса, «V транспонировать умножить на x» представляет координаты относительно V.
2. «Умножение на Σ» устраняет координаты нулевого пространства, масштабирует координаты пространства столбцов и при необходимости компенсирует размерность. Это можно легко понять.
3. «Uумножить это» снова выполняет базовое преобразование, преобразуя координату в m-размерность на основе U.

Спасибо за чтение!

Надеюсь, мой корявый английский не помешает вам во время чтения. И, надеюсь, он сможет передать ключевые идеи, которые я хочу выразить. И если вы только что узнали о SVD, но интересуетесь ее регионом, я надеюсь, что мой отрывок предоставит вам точку зрения, чтобы найти ответ. Также вы можете заметить, что подпространства имеют большое значение на протяжении всего отрывка, на что я также хочу обратить внимание. Теперь, оснащенный SVD, вы почувствуете себя более смелым перед линейной алгеброй!

Еще раз, спасибо за ваше чтение!