Часть 1.1 специализации глубокого обучения

1-слойная нейронная сеть

= входной слой + выходной слой

Двухслойная нейронная сеть

= входной слой + скрытый слой + выходной слой

4-слойная нейронная сеть

= входной слой + 3 скрытых слоя + выходной слой

Нейронная сеть L-уровня

= входной слой + скрытые слои L-1 + выходной слой

L = скрытые слои + выходной слой

(входной слой не считается!!)

1. Элементы в нейронной сети

W[L] = весовой вектор слоя L

B[L] = вектор смещения слоя L

Z[L] = вектор линейной комбинации слоя L

= (W[L]• A[L-1]) + B[L]

A[L] = вектор активации слоя L

= g (Z[L])

g() = функция активации

A[0] = входной вектор

A[L] = выходной вектор

2. Нейронная сеть: шаг за шагом

инициализировать параметры W, B

ввод поезда (цикл = num_iterations)

  • прямое распространение
  • вычислить функцию потерь и затрат
  • обратное распространение (градиентный спуск)
  • обновить параметры W, B

прогнозировать вывод

  • прямое распространение

Шаг 1: Инициализируйте параметры W, B

W должен быть маленьким вектором с ненулевым значением, чтобы нарушить симметрию веса узла.

B может быть нулевым вектором

Шаг 2: прямое распространение

Шаг 3: Вычислите функцию потерь и затрат

функция потерь обеспечивает потерю ошибочности на 1 тренировочные данные.

функция стоимости предоставляет средние потери для m обучающих данных.

Шаг 4: Обратное распространение (градиентный спуск)

обратный кеш (dZ[L])

используйте прямой кэш (W[L], B[L], A[L-1]) и обратный кэш (dZ[L]) для вычисления градиента спуск (dW[L], дБ[L], dA[L-1])

Шаг 5: Обновите параметры W, B

Шаг 6: Прогноз

Статьи по Теме

Ссылка

Специализация глубокого обучения: нейронные сети и глубокое обучение (Coursera) (Youtube)