Биологический нейрон-ретикулярная теория (1871–1873)
Джозеф фон Герлах предположил, что нервная система представляет собой единую непрерывную сеть, а не сеть из множества отдельных клеток. .
Доктрина нейронов (1888–1891)
Сантьяго Рамон-и-Кахаль использовал технику Гольджи для изучения нервной системы и предположил, что она на самом деле состоит из отдельных отдельных клеток, образующих сеть (в отличие от единая непрерывная сеть)
Термин нейрон (пишется нейрон на британском английском) был придуман Вальдейер-Харц как способ идентификации клетки, о которых идет речь, примерно в период 1891.
Последнее слово
В 1950-х годах электронная микроскопия окончательно подтвердила доктрину нейронов, недвусмысленно продемонстрировав, что нервные клетки - это отдельные клетки, связанные между собой через синапсы (сеть из множества отдельных нейронов).
Эра искусственных нейронных сетей.
McCulloch Pitts Neuron (1943)
Маккаллох (нейробиолог) и Питтс (логик) предложили сильно упрощенную модель нейрона.
Персептроны (1958)
Персептрон был разновидностью нейронной сети, представленной Фрэнком Розенблаттом в 1958 году.
Сеть прецептронов представила в ИНС функции Weight и Bias. Это открытие открывает путь к грядущему прогрессу в исследованиях искусственного интеллекта.
Многослойные персептроны
MLP представил Ивахненко в 1965 году. Это перцептроны со скрытым слоем.
Зима нейронной сети (1969–1986)
В знаменитой книге «Персептроны» Мински и Паперта обозначены пределы
того, что могут делать перцептроны, что приводит к отказу от коннекционистского ИИ.
Обратное распространение (1986) - возрождение нейронной сети
Основы непрерывного обратного распространения ошибки были выведены в контексте теории управления Генри Дж. Келли в 1960 году.
Артур Э. Брайсон в 1961 году использовал принципы динамического программирования.
В 1970 году Линнаинмаа опубликовал общий метод автоматического дифференцирования (AD) дискретных связанных сетей вложенных дифференцируемых функций (база для текущего алгоритма обратного распространения ошибки).
В 1986 году Рамелхарт, Хинтон и Уильямс экспериментально показали, что этот метод может генерировать полезные внутренние представления входящих данных в скрытых слоях нейронных сетей.
Универсальная аппроксимационная теорема (1989 г.)
Теорема утверждает, что простые нейронные сети могут представлять широкий спектр интересных функций, если заданы соответствующие параметры; однако это не касается алгоритмической обучаемости этих параметров.
Первые версии UAT были испытаны Джорджем Цибенко в 1989 году для функций активации сигмовидной кишки.
Сверточная нейронная сеть (1989 г.)
Распознавание рукописных цифр с использованием обратного распространения ошибки по сверточной нейронной сети (ЛеКун и др.)
Дизайн CNN следует за обработкой изображения в живых организмах.
Работа Хьюбела и Визеля в 1950-х и 1960-х годах показала, что зрительная кора кошек и обезьян содержит нейроны, которые индивидуально реагируют на небольшие области поля зрения. При условии, что глаза неподвижны, область зрительного пространства, в которой зрительные стимулы влияют на возбуждение отдельного нейрона, называется его рецептивным полем.
ГЛУБЖЕ
Новая ЭРА нейронной сети
2006
Предварительное обучение без учителя (2006 г.)
автокодировщик - это тип ИНС, используемый для неконтролируемого изучения эффективных кодировок данных.
Задача автоэнкодера - изучить представление (кодировку) набора данных, как правило, с целью уменьшения размерности.
Хинтон и Салахутдинов описали эффективный способ инициализации весов, который позволяет глубоким сетям автокодировщиков изучать низкоразмерное представление данных.
Новый рекорд MNIST (2011)
Ciresan et. al. установить новый рекорд в наборе данных MNIST, используя старый добрый back-
распространение на графических процессорах (графические процессоры выходят на сцену)
Как побеждать в соревнованиях по визуальному распознаванию (2012–2016 гг.)
