Что такое перцептрон?
Персептрон — это линейный классификатор.
Где его можно использовать?
Персептрон можно использовать для решения любой задачи классификации. Рассмотрим следующие распределения данных студентов, принятых/отклоненных в университете.
Прием студента зависит от его баллов GRE и TOEFL. Учащиеся, набравшие высокие баллы по обоим предметам, допускаются, а учащиеся с низкими показателями по обоим предметам отсеиваются. Мы присваиваем метку 1 тем учащимся, которые были приняты, и 0 — тем, кто был отклонен. На графике выше принятые студенты показаны синим цветом, а отвергнутые - красным. Линия, разделяющая эти два класса, — это то, что мы получаем с помощью персептрона.
Как работает персептрон?
Граничная линия определяется:
w1.x1 + w2.x2 + b = 0.
В векторной форме это можно записать следующим образом:
Wx + b = 0, где W=(w1, w2) и x = (x1, x2). W называется весом, а b называется смещением.
y = label : 0 или 1 (здесь мы рассматриваем бинарную классификацию)
Прогноз дают:
y = 1 if Wx + b > 0
y = 0 if Wx + b < 0
Таким образом, в примере с поступлением в университет класс 1 (красные точки) соответствует студентам, которые были приняты, а класс 2 (синие точки) соответствуют студентам, которые были отклонены университетом. Граничная линия соответствует персептрону. Предположим, что баллы GRE представлены по оси y (вертикальная ось), а баллы TOEFL — по оси x (горизонтальная ось), тогда для любой новой точки данных (новый студент) мы можем предсказать, будет ли студент выбран на основе того, вывод 'w1. GRE_score + w2.TOEFL_score +b’ больше или меньше нуля, где GRE_score и TOEFL_score формируют x1 и x2 для нового студента. Если результат больше нуля, учащийся принимается, иначе отклоняется.
Как мы можем расширить его до более высоких измерений?
Когда данные имеют больше функций (более двух), они подпадают под эту категорию. Пример — если принятие или отклонение учащегося зависит от GRE, TOEFL, разряда в классе, внеклассных мероприятий и стажировок. Эти данные нельзя визуализировать на 2D-плоскости, в отличие от рассмотренного ранее примера. Это по-прежнему проблема бинарной классификации, поскольку у нас есть те же две возможности — принятие и отклонение. Однако для этой задачи граница между двумя классами получается плоскостью. Персептрон представляет собой плоскость, заданную уравнением:
Плоскость: w1.x1 + w2.x2 + …..+ wn.xn + b = 0
В векторной форме: Wx + b = 0
Прогноз:
y = 1, если Wx + b≥0, и 0, если Wx + b‹0, где x=(x1, x2, x3…xn), W = (w1, w2, w3…wn)
Для n признаков точки данных граница представляет собой (n-1) мерную гиперплоскость, определяемую следующим образом:
w1.x1 + w2.x2 + w3.x3 + w4.x4 +……+wn.xn + b = 0
Представление персептрона
Есть два способа представления персептрона.
- Смещение с входами
Здесь мы фиксируем один вход в персептрон как 1, а смещение действует как вес для этого входа.
2. Смещение без ввода
Персептроны — это математическая имитация нейронов, составляющих нашу нервную систему. Каждая единица имеет вход, и она дает выход в зависимости от этого входа. Персептроны, сложенные вместе, образуют один слой сети, а несколько таких слоев составляют глубокую нейронную сеть. В следующих блогах я буду подробно обсуждать глубокое обучение.
