Часть 1.1 специализации глубокого обучения
1-слойная нейронная сеть
= входной слой + выходной слой
Двухслойная нейронная сеть
= входной слой + скрытый слой + выходной слой
4-слойная нейронная сеть
= входной слой + 3 скрытых слоя + выходной слой
Нейронная сеть L-уровня
= входной слой + скрытые слои L-1 + выходной слой
L = скрытые слои + выходной слой
(входной слой не считается!!)
1. Элементы в нейронной сети
W[L] = весовой вектор слоя L
B[L] = вектор смещения слоя L
Z[L] = вектор линейной комбинации слоя L
= (W[L]• A[L-1]) + B[L]
A[L] = вектор активации слоя L
= g (Z[L])
g() = функция активации
A[0] = входной вектор
A[L] = выходной вектор
2. Нейронная сеть: шаг за шагом
инициализировать параметры W, B
ввод поезда (цикл = num_iterations)
- прямое распространение
- вычислить функцию потерь и затрат
- обратное распространение (градиентный спуск)
- обновить параметры W, B
прогнозировать вывод
- прямое распространение
Шаг 1: Инициализируйте параметры W, B
W должен быть маленьким вектором с ненулевым значением, чтобы нарушить симметрию веса узла.
B может быть нулевым вектором
Шаг 2: прямое распространение
Шаг 3: Вычислите функцию потерь и затрат
функция потерь обеспечивает потерю ошибочности на 1 тренировочные данные.
функция стоимости предоставляет средние потери для m обучающих данных.
Шаг 4: Обратное распространение (градиентный спуск)
обратный кеш (dZ[L])
используйте прямой кэш (W[L], B[L], A[L-1]) и обратный кэш (dZ[L]) для вычисления градиента спуск (dW[L], дБ[L], dA[L-1])
Шаг 5: Обновите параметры W, B
Шаг 6: Прогноз
Статьи по Теме
- Нейронная сеть — Часть 1.1
- Нейронная сеть — Часть 1.2
- Нейронная сеть — Часть 2
- Нейронная сеть — Часть 3
- Си-Эн-Эн — Часть 4.1
- Си-Эн-Эн — Часть 4.2
- РНН — Часть 5.1
- РНН — Часть 5.2
Ссылка
Специализация глубокого обучения: нейронные сети и глубокое обучение (Coursera) (Youtube)