Это для тех, кто хочет получить визуальное представление о внутренней работе нейронов в ИНС. Вам просто нужно немного математики среднего уровня и немного терпения. Мы построим простой, который будет отличать яблоки от апельсинов, а затем пойдем дальше. Вот оно.
Шаг 1. Сходите на фруктовый рынок и купите яблоки и апельсины.
Шаг 2: Один ботаник среди нас оценивает их по 2 атрибутам - красному и сладкому.
Вуаля - теперь у нас есть 2 измерения. X означает покраснение, а Y - сладость. Это то, что я называю двухмерным нейроном, то есть с двумя входами.
Большинство из нас согласятся, что яблоки в целом слаще и краснее, и, следовательно, мы получим график, похожий на приведенный ниже.
Давайте также проведем хорошую линию, чтобы классифицировать их. Как мы можем разработать спецификации для линии - это тема отдельной истории, но это не мешает нашей визуализации.
Но что такое линия?
В формате пересечения угла наклона это y = mx + c (где m - наклон, а c - точка пересечения по оси Y).
Все хорошо? После некоторой простой перестановки это можно записать как
w1 * x + w2 * y + b1 = 0
Если я возьму это уравнение и обведу его кружочками, оно начнет выглядеть как единое целое, как то, с чем мы так хорошо знакомы - да, это наш фундаментальный строительный блок ИНС, он же нейрон.
Теперь, если мы заменим 0 в уравнении на z, это переведет нашу визуализацию в совершенно новое измерение - я имею в виду буквально.
w1 * x + w2 * y + b1 = z
OR z = w1 * x + w2 * y + b1
Это (без призов за угадывание) уравнение плоскости в 3D. Таким образом, любая линия на оси X-Y в 2D - это просто частный случай уравнения плоскости, установленного на 0, то есть это набор всех точек, в которых плоскость пересекается с плоской плоскостью X-Y.
Как насчет активации?
Часть, которую я намеренно упустил, - это активация нейрона, так что давайте добавим и ее. Я использовал ReLU, который просто заменяет все отрицательные значения на ноль. Итак, g (z) = max {0, z}
Розовый лист ниже - это окончательный результат нейрона. Если лист лежит на полу, это апельсин. Если лист поднят в воздух, это яблоко. Более того, чем выше лист, тем выше вероятность, что это яблоко.
Как это выходное изгибание выглядит с несколькими нейронами?
Я работаю над следующей страницей этой серии, чтобы перенести визуализацию на несколько нейронов - добавлю ссылку после ее публикации. Пожалуйста, оставьте мне комментарий, если вы думаете, что мы должны выбрать какую-нибудь другую функцию активации (например, сигмовидную), чтобы оживить ее. Спасибо.