3. Прямое распространение
3.1 Вес
Вес — это математическое представление того, насколько важен фактор в нейронной сети. Предполагая функцию передачи идентичности, чем выше значение веса, тем больше влияние этого веса будет учитываться при расчете выходных данных текущего слоя.
Вес в приведенном выше виде — это вес первого слоя от j-го PE до i й PE в следующем слое.
3.2 Передаточная функция
Передаточная функция узла (показанная ниже) определяет выходные данные этого узла с учетом входных данных или набора входных данных для этого нейронного узла.
Простейшей передаточной функцией является функция тождества, которая дает карту тождества от выхода предыдущего слоя до входа следующего слоя. В качестве передаточных функций исследователи и ученые обычно выбирают сигмовидную функцию или функцию tanh. Однако выбор передаточной функции открыт для обсуждения, и их относительные преимущества обсуждаются здесь.
При прямом распространении мы сначала агрегируем результаты, рассчитанные на предыдущем уровне, применяя передаточную функцию, как указано выше. Мы будем делать это слой за слоем по направлению к выходному слою.
Математическая формула для прямого распространения показана слева. Вы можете итеративно выполнять прямое распространение для всех слоев.
Мы также можем переписать часть суммирования путем умножения матриц. Мы оставим это в качестве упражнения для наших читателей.
Полезное видео для дальнейшей иллюстрации:
4. Обратное распространение
Когда мы достигнем выходного слоя в нашей нейронной сети, мы хотим увидеть, насколько хорош наш прогнозируемый результат по сравнению с желаемым результатом. Поэтому мы назначим сети функцию ошибки (обычно среднеквадратичную ошибку или расстояние редактирования), чтобы оценить, насколько хорошо мы справляемся с нашими текущими значениями весов и структурами.
Мы начинаем с выходного слоя, сравнивая желаемые результаты с прогнозируемыми результатами, а затем отслеживая один слой за другим.
Корректировка наших весов производится с помощью различных методов, наиболее популярным из которых является градиентный спуск.
Как только мы закончим настройку весов и достигнем входного слоя, мы снова повторим прямое распространение.
Полезное видео для дальнейшей иллюстрации:
5. Критерии остановки
Прежде чем мы начнем обучать нашу нейронную сеть, мы предварительно определим критерии остановки для нашей сети. Например, мы можем сказать, что если ошибка находится в пределах 10e-5, то мы остановим обучение или если мы прошли 10e5 итераций, то мы остановим обучение дальше.
Критерии остановки имеют решающее значение, поскольку нам нужно установить цель для нашей сети. Существуют различные способы определить, где остановиться. Проверьте ссылки ниже:
Посмотрите этот оригинальный пост на моем сайте!
