Теперь мы знаем об основах нейронной сети, у нее есть входной слой, некоторый скрытый слой, выходной слой, смещения, веса, функция активации и т. д. Но есть эти две методологии: нейронная сеть с прямой связью и обратная связь. Распространение, оба они дополняют друг друга для обучения нейронной сети.
Нейронная сеть прямой связи
Проще говоря,
Нейронная сеть с прямой связью — это семейство нейронных сетей, в которых информация течет в прямом направлении и где соединения между узлами не образуют цикл.
Нейронная сеть прямого распространения была первой созданной нейронной сетью. Наиболее известными и первыми архитектурами с нейронными сетями FeedForward являются однослойные и многослойные персептроны.
Термин «прямая связь» происходит от потока информации, который является однонаправленным. Поток начинается с входных данных позже, переходит к следующему подключенному слою и останавливается на выходном слое без повторения между ними, как в рекуррентных нейронных сетях. Нейронная сеть FeedForward может выполнять как задачи классификации, так и задачи регрессии.
Обратное распространение
Сегодня можно с уверенностью сказать, что обратное распространение является основой того, как нейронные сети узнают то, что они узнают.
Обратное распространение или, скажем, «обратное распространение ошибок» — это алгоритм, который использует градиентный спуск для минимизации ошибок в прогнозировании нейронной сети.
Ниже представлено видео от Сираджа Равала, в котором весело, но информативно объясняется обратное распространение ошибки.
Хотите узнать больше?
Я настоятельно рекомендую эту статью Рохана и Ленни.
