McCulloch Pitts Neuron — первый искусственный нейрон

Отказ от ответственности. Содержание этого блога, включая некоторые изображения, взято из лекций Первый курс глубокого обучения от One Fourth Labs.

MP Neuron. Звучит знакомо? Большинство из вас уже догадались, что это как-то связано с термином нейрон. Итак, давайте сначала познакомимся с нейроном.

Биологический нейрон

Нейрон представляет собой электрически возбудимую клетку, которая получает, обрабатывает и передает информацию посредством электрических и химических сигналов. Они являются основными компонентами центральной нервной системы.

Типичный нейрон состоит из тела клетки, называемого сома, дендритов и аксона. .

Дендрит

Это разветвленное протоплазматическое расширение нервной клетки или нейрона, которое распространяет электрохимическую стимуляцию, полученную от других нервных клеток, на тело клетки или сому нейрона.

Сома

Это сердце нейрона, содержащее ядро клетки. Слово «soma» происходит от греческого «σῶμα», что переводится как «тело». Эта часть нейрона фактически обрабатывает входную информацию, приносимую дендритом.

Аксон

Аксон или нервное волокно представляет собой длинный тонкий отросток нейрона, который обычно проводит электрические импульсы, известные как потенциалы действия, от сомы. Аксон происходит от греческого ἄξων áxōn, что переводится как ось. Функция аксона заключается в передаче информации к различным нейронам, мышцам и железам.

Синапс

Это структура, которая позволяет нейрону передавать электрический или химический сигнал другим нейронам или эффекторным клеткам-мишеням. Другими словами, синапс — это точка соединения двух нейронов.

Итак, теперь мы поняли основную структуру биологического нейрона и то, как он работает, давайте посмотрим, как это можно реализовать математически.

Искусственный нейрон

Искусственный нейрон — это математическая функция, задуманная как модель описанных выше биологических нейронов. Это элементарные единицы искусственной нейронной сети. Он получает один или несколько входных данных (через дендрит) и суммирует их для получения выходных данных. Эта обработка ввода происходит в месте, называемом сома. Выход можно представить как активацию, которая передается по его аксону.

МакКаллох Питтс Нейрон

Это первая вычислительная модель искусственного нейрона. Это было предложено в 1943 году Уорреном С. Маккаллохом, нейробиологом, и Уолтером Питтсом, логиком, поэтому модель была названа в их честь.

Давайте посмотрим на MP Neuron через стекло 6 банок машинного обучения.

Модель

Предлагаемая модель MP Neuron представляет собой сильно упрощенную вычислительную модель реального нейрона.

Модель можно описать следующим образом:

Модель работает с булевыми данными. И входные данные, и выходные данные имеют логический тип.
Каждая модель или нейрон имеет фиксированный порог.
Различают два типа входов: возбуждающие и тормозные.
Модель получает входные данные от возбуждающих синапсов.
Тормозные входы обладают абсолютной властью над любыми или всеми возбуждающими входами.
Сому этого нейрона можно разделить на две части или функции, а именно fили решение и gили агрегацию.
Функция g объединяет все входные данные, а функция f принимает решение на основе агрегирования, предоставленного г.
Решение принимается так, как будто агрегация возбуждающих входов больше или равна порогу, тогда выход равен 1, иначе выход будет 0. Другими словами, если и только если агрегация соответствует или пересекает порог, тогда нейрон будет стрелять.
Кроме того, если нейрон получает тормозной сигнал, он не сработает, несмотря ни на что.

Таким образом, математически модель можно представить следующим образом.

Здесь b — порог.

Данные

Из модели нейрона mp видно, что он принимает только логические входные данные. Теперь данные, которые мы будем получать для обучения этой модели, могут быть двух типов:

Естественно логическое значение
Небулево

Теперь для естественных логических данных у нас нет проблем. Мы можем просто установить данные и начать обучение нашей модели. Но для небулевых данных у нас есть проблема. Нам нужно преобразовать данные в логическое значение.

Задача

Теперь наша задача — предсказать, понравится ли кому-то телефон или нет, исходя из данных телефона. Теперь все эти данные являются реальными небулевыми данными (например, год выпуска телефона или емкость аккумулятора). Теперь нам нужно преобразовать их в логические значения, чтобы преобразованные данные можно было применить к модели MP Neuron.

Одним из примеров может быть год производства, если мы скажем, что для каждого телефона давайте найдем, вышел ли он за последние 6 месяцев. Затем для каждого телефона значение становится логическим, поскольку все эти телефоны были выпущены либо за последние 6 месяцев (случай: 1), либо до последних 6 месяцев (случай: 0).

Точно так же мы можем сделать все остальные логическими. И теперь наш окончательный набор данных готов для использования в модели MP Neuron. Эту задачу можно назвать бинарной классификацией.

Кроме того, нам нужно установить порог таким образом, чтобы агрегирование наших логических данных давало результат, соответствующий истинному выводу (y).

Функция потери

Функция потерь в случае MP Neuron будет иметь вид Потери в квадрате ошибки.

Где,

L = значение потерь (цель состоит в том, чтобы найти модель, которая производит наименьшее значение L)

y = истинный вывод

Здесь мы берем квадрат разницы между реальным выпуском и предполагаемым выпуском и суммируем их для расчета фактических потерь.

Алгоритм обучения

Здесь параметр, который нам нужно изучить, — это пороговое значение b. Так как нам нужно узнать только один параметр, и, следовательно, мы можем использовать прямой метод, известный как Поиск грубой силы.

Итак, здесь мы сделаем следующие шаги.

Сначала предположим, что значение b равно 0.
Затем мы подключим входные данные к модели MP Neuron и создадим выходные данные.
Затем мы рассчитаем квадрат потери ошибки.
Мы увеличим порог на единицу.
Повторим шаги 1 — 4 для n итераций, где n — общее количество входов, и найдем наименьшие потери. Наша цель — найти порог, при котором потери равны 0.

Оценка

Теперь, после всего, что нужно оценить нашей модели, чтобы увидеть, насколько хорошо она будет работать в реальном сценарии. Здесь мы будем использовать простой метод определения точности, который можно описать следующим образом:

Почтовое слово

Это мой взгляд на MP Neuron. Это было задокументировано в надежде, что это даст некоторое представление о первой математической реализации биологического нейрона человечеством.

Ура. Да прибудет с вами Сила.