В этой серии статей мы собираемся обсудить математическую точку зрения на машинное обучение. Мы начнем с основ, а затем перейдем к статистическим тонкостям нескольких алгоритмов машинного обучения. Эту серию рекомендуется читать в том же порядке, в котором она опубликована. Для удобства читателей я буду ставить номер детали (1 для этой статьи) в каждой статье, которую буду публиковать на эту тему.
В этой конкретной статье мы начнем с основ линейной алгебры. Я мог бы опубликовать еще 2 или 3 статьи по линейной алгебре, чтобы осветить темы, имеющие отношение к машинному обучению. Темы для обсуждения перечислены ниже:
- Векторы
- Векторные пространства и подпространства
- Линейный диапазон
- Пространство столбца
- Пустое пространство
Векторы:- Это объект, который имеет как величину, так и направление. Геометрически мы можем представить вектор как направленный отрезок, длина которого дает величину вектора, а стрелка указывает направление.
В машинном обучении мы используем векторы для представления функций и меток входных данных, таких как возраст, зарплата и т. д. Здесь, в этом примере, V — двумерный вектор из области действительных чисел.
Векторное пространство.Векторное пространство — это множество V векторов, на которых векторное сложение и векторное умножение определены таким образом, что
- (V,+) — абелева группа.
- Скалярное произведение между действительными числами и вектором v определяется таким образом, что для всех «a» принадлежит действительным числам, а v принадлежит векторному пространству V, так что a.v должно принадлежать векторному пространству V.
- Поскольку все «a» принадлежит действительным числам (R), а v,w принадлежит V (векторному пространству), a(v+w)=a.v+a.w
- Для всех a,b принадлежит R, а v принадлежит V, (a+b).v = a.v+b.v
- Для всех a,b принадлежит R, а v принадлежит V, (ab).v=a.(b.v)
- (Унитарный закон) 1 принадлежит R и v принадлежит V, 1.v принадлежит V.
Еще несколько примеров векторных пространств:
Векторное пространство всех действительных функций, набор всех многочленов от переменной x и коэффициентов из R и т. д.
Примечание. V = множество многочленов степени «n» не образует векторное пространство над R, поскольку сложение векторов не замкнуто.
Подпространство. Подпространство можно рассматривать как подмножество векторного пространства, удовлетворяющее всем свойствам векторного пространства.
Теорема: пусть S — подмножество Rn. Тогда S является подпространством в Rn тогда и только тогда, когда выполняются следующие условия:
- 0 принадлежит С.
- S замкнут относительно сложения векторов.
- S замкнут относительно скалярного умножения.
Пример, S={(x1,x2,x3) принадлежит R3 | x1-x2+x3=0} является подмножеством R3.
Linear Span: Пусть V(F) — векторное пространство.
Пусть S={v1,v2,v3,……..,vn} — непустое подмножество V.
L(S)={c1v1+c2v2+c3v3+…………..+cnvn| ci принадлежит R,1≤ i≤n}
Имущество:-
- L(S) — наименьшее подпространство, содержащее S.
- L(S) — подпространство V(F), натянутое на S.
Чтобы проиллюстрировать это, давайте рассмотрим S={(2,5,3), (1,1,1)} — подпространство в R3 и два вектора v1=(2,5,3) и v2=(1,1, 1).
Теперь скажем, что c1,c2 принадлежат R, так что L(S)={(c1*v1)+(c2*v2)| c1,c2 принадлежит R}. Итак, L(S)= {c1(2,5,3) + c2(1,1,1)} = {(2c1+c2), (5c1+c2),(3c1+c2)| c1,c2 принадлежит R}. Пусть 2c1+c2=x1, 5c1+c2=x2, 3c1+c2=x3.
Немного подсчитав, мы можем вычислить соотношение между x1,x2 и x3, то есть 2x1+x2=3x3 — это отношение между тремя (9c1+3c2=9c1+c2).
Следовательно, L(S) можно записать как
L(S)= {(x1,x2,x3) принадлежит R3 | 2x1+x2=3x3}, и это дает математическое определение линейной прослойки S, которая представляет собой любой вектор, элементы которого в R3 удовлетворяют производному соотношению, линейно охватывающей S.
Диапазон или пространство столбцов.Пространство столбцов или диапазон матрицы A — это диапазон ее векторов-столбцов. Другими словами, пусть A as,
Пространство столбцов A - это диапазон его векторов-столбцов, то есть (1,5,2) и (0,4,4). Он представлен как R (A).
Null Space: это набор векторов, который при умножении на A дает 0, т.е.
N(A) ={ x принадлежит R3 | Ах=0}.
Для вас будет хорошим упражнением, если вы попытаетесь выяснить размеры пространства столбца и нулевого пространства данной матрицы A.
