Машина опорных векторов (SVM) в машинном обучении

Главное, о чем следует помнить, это то, что это всего лишь математические уравнения, настроенные так, чтобы дать вам наиболее точный ответ как можно быстрее. Машины опорных векторов отличаются от других алгоритмов классификации тем, как они выбирают границу решения, которая максимизирует расстояние от ближайших точек данных всех категорий. Граница решения, созданная SVM, называется классификатором максимальной маржи или гиперплоскостью максимальной маржи.

Важные термины в методе опорных векторов

Вот некоторые из важных концепций SVM, которые будут часто использоваться.

• Гиперплоскость — это плоскость принятия решений или пространство, которое разделено между набором объектов разных классов.
• Опорные векторы. Точки данных, которые находятся ближе всего к гиперплоскости, называются опорными векторами. Разделительная линия будет определена с помощью этих точек данных.
• Ядро. Ядро — это функция, используемая в SVM для помощи в решении проблем. Они обеспечивают ярлыки, чтобы избежать сложных вычислений.
• Поля — может быть определена как разрыв между двумя строками в ближайших точках данных разных классов. Большая маржа считается хорошей маржей, а маленькая маржа считается плохой маржей.

Как работает SVM?

Простой линейный классификатор SVM работает, проводя прямую линию между двумя группами данных. Это означает, что все точки данных на одной стороне линии будут представлять определенную категорию, а точки данных на другой стороне линии будут помещены в другую категорию. Это означает, что у нас может быть бесконечное количество строк на выбор.

Что делает линейный алгоритм SVM лучше, чем некоторые другие алгоритмы, такие как k-ближайшие соседи, так это то, что он выбирает лучшую линию для классификации точек данных. Алгоритм выбирает линию, которая разделяет данные и находится как можно дальше от ближайших точек данных. Если мы выберем гиперплоскость с низким запасом, то высока вероятность неправильной классификации.

Важной функцией в реализации алгоритма SVM является ядро ​​SVM. Это функция, которая берет низкоразмерное входное пространство и преобразует его в многомерное пространство. То есть он преобразует неразделимую проблему или сложную задачу классификации в разделимую проблему. Это в основном полезно в нелинейных задачах, которые мы обсудим в последнем разделе.

Пример машины опорных векторов

Алгоритм SVM можно лучше понять на следующем примере. Предположим, мы хотим построить модель, которая может точно определить, является ли данный фрукт яблоком или бананом. Тогда без лишних раздумий можно решить, что такую ​​модель можно построить алгоритмом SVM.

Сначала мы обучим нашу модель большим количеством изображений яблок и бананов, чтобы она могла узнать о различных свойствах яблок и бананов, а затем протестируем ее с новыми фруктами. Таким образом, вектор поддержки создает границу решения между этими двумя данными, то есть яблоком и бананом, и выбирает векторы поддержки. На основе опорных векторов он классифицирует свою категорию как яблоко или банан. Мы можем понять пример с приведенной ниже диаграммой.

Из примера изображения мы можем получить представление о работе модели SVM. Модель классифицирует новые входные данные как яблоко с помощью признаков, которые она поняла с помощью обучающих выборок.

Типы опорных векторов

Опорные векторные машины могут быть двух типов в зависимости от типа данных. Это линейный SVM и нелинейный SVM.

Линейный метод опорных векторов

Линейный SVM используется в случае линейно разделимых данных. Это означает, что если набор данных можно разделить на два класса с помощью прямой линии, то такие данные называются линейно разделимыми данными, и мы можем использовать линейный классификатор SVM. Формула линейного ядра, как показано ниже, говорит, что произведение двух векторов является суммой произведения каждой пары входных значений.

Работу алгоритма Linear SVM можно понять на примере. Предположим, у нас есть набор данных с двумя категориями данных, представленными синим и красным цветом. Нам нужен классификатор, который может классифицировать пару координат как в красном, так и в синем цвете, что изображено следующим образом.

Нелинейный SVM

Нелинейный SVM используется в случае нелинейно разделенных данных. Это означает, что если прямая линия не может классифицировать набор данных, то такие данные называются нелинейными данными, и мы можем использовать нелинейный классификатор SVM.

Работу алгоритма нелинейного SVM можно понять на примере. Предположим, у нас есть набор данных с двумя категориями данных, представленными синим и красным цветом. Нам нужен классификатор, который может классифицировать пару координат как в красном, так и в синем цвете, что изображено следующим образом.

Ядро радиального базиса (RBF) — это функция ядра, которая используется для поиска нелинейного классификатора или линии регрессии. Ядро RBF, в основном используемое в классификации SVM, отображает входное пространство в пространство неопределенной размерности.

Итак, мы познакомились с процессом разделения двух классов с помощью гиперплоскости. Теперь вопрос в том, как мы можем определить правильную гиперплоскость? Что ж, ответ на этот вопрос — выбрать гиперплоскость, которая лучше разделяет две категории.

Из приведенного выше изображения мы можем понять основную разницу между линейным и нелинейным типами SVM.

Реализация машины опорных векторов в Python

Мы начнем реализацию машины опорных векторов, импортировав несколько библиотек, которые будут полезны для нашего проекта.

1
2
3
4
5
6
#Importing the required libraries
import pandas as pd
import numpy as np
from sklearn import svm, datasets
from sklearn.svm import SVC
import matplotlib.pyplot as plt

Далее мы загрузим наш набор данных в код. Для реализации нашей модели SVM мы можем использовать набор данных iris, присутствующий в библиотеке sklearn. После загрузки данных при назначении зависимой и конечной переменных мы берем только первые две функции, чтобы сделать нашу модель простой.

1
2
3
4
5
6
7
8
9
10
11
12
13
#Loading the iris dataset
data = datasets.load_iris()
#Independent and dependent variables
X = data.data[:, :2]
Y = data.target
# Create a mesh to plot
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
h = (x_max / x_min)/100
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))
X_plot = np.c_[xx.ravel(), yy.ravel()]

Давайте укажем значение параметра регуляризации и создадим объект классификатора SVM для линейного ядра.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#SVM regularization parameter
C=1.0
#Creating SVM classifier object for the linear kernel
svc_classifier = svm.SVC(kernel='linear', C=C).fit(X, y)
Z = svc_classifier.predict(X_plot)
Z = Z.reshape(xx.shape)
#Plotting the data
plt.figure(figsize=(15, 5))
plt.subplot(121)
plt.contourf(xx, yy, Z, cmap=plt.cm.tab10, alpha=0.3)
plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.Set1)
plt.xlabel('Sepal length')
plt.ylabel('Sepal width')
plt.xlim(xx.min(), xx.max())
plt.title('Support Vector Classifier with linear kernel')

Выход

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#SVM Regularization parameter
C=1.0
#Creating SVM classifier object for the rbf kernel
svc_classifier = svm.SVC(kernel = 'rbf', gamma ='auto',C = C).fit(X, Y)
Z = svc_classifier.predict(X_plot)
Z = Z.reshape(xx.shape)
#Plotting the data
plt.figure(figsize=(15, 5))
plt.subplot(121)
plt.contourf(xx, yy, Z, cmap = plt.cm.tab10, alpha = 0.3)
plt.scatter(X[:, 0], X[:, 1], c = y, cmap = plt.cm.Set1)
plt.xlabel('Sepal length')
plt.ylabel('Sepal width')
plt.xlim(xx.min(), xx.max())
plt.title('Support Vector Classifier with rbf kernel')

Выход

Преимущества SVM

• Машина опорных векторов использует подмножество точек обучения в функции принятия решения, называемой опорными векторами, что делает ее эффективной с точки зрения памяти.
• Это эффективно в случаях, когда количество признаков больше, чем количество точек данных.
• Метод опорных векторов эффективен для наборов данных с несколькими функциями.
• В этом алгоритме в качестве решающей функции могут быть указаны различные функции ядра. Мы также можем использовать собственные ядра.

Недостатки SVM

• Алгоритм метода опорных векторов лучше всего работает на небольших наборах данных из-за большого времени обучения.
• Если количество функций намного больше, чем количество точек данных, крайне важно избегать переобучения при выборе функций ядра и условия регуляризации.
• SVM не дает оценок вероятности, они рассчитываются с помощью перекрестной проверки.

Заключение

В этой статье мы подробно рассмотрели алгоритм машинного обучения, машину опорных векторов. Мы обсудили его работу, важные параметры, реализацию на Python и, наконец, его плюсы и минусы. Вы можете использовать алгоритм SVM для своей модели и проанализировать мощность этой модели, настроив параметры.