Функция активации в глубоком обучении помогает определить выход нейронной сети. Также помогает нормализовать выходной сигнал каждого нейрона.

Нейронные сети используют нелинейные функции активации, которые могут помочь сети изучать сложные данные, вычислять и изучать практически любую функцию, представляющую вопрос, и обеспечивать точные прогнозы.

Здесь я собираюсь обсудить различные типы функций активации.

  1. Сигмовидная
  2. Тань
  3. ReLU
  4. LeakyReLU
  5. ELU
  6. PReLU
  7. Свист
  8. Использовать полностью
  9. Softplus

Теперь я собираюсь подробно обсудить их все.

  1. сигмовидная:

Сигмовидная функция - наиболее часто используемая функция активации в начале глубокого обучения.

В сигмовидной функции выходной сигнал находится в диапазоне от 0 до 1.

Производные сигмовидной функции находятся в диапазоне от 0 до 0,25.

Преимущества сигмовидной функции:

  1. Выход этой функции находится в диапазоне от 0 до 1.
  2. Эта функция помогает нормализовать выходной сигнал каждого нейрона.
  3. Эта функция дает четкий прогноз между, например, близким к 0 или 1.

Недостатки сигмовидной функции:

  1. Склонен к проблеме исчезающего градиента.
  2. Вывод функции не ориентирован на ноль.
  3. Это дорого с точки зрения вычислений. Из-за экспоненты и мощности.

2. Тань:

Tanh - функция гиперболического тангенса. Кривые функции tanh и функции sigmod относительно похожи.

В функции tanh вывод находится в диапазоне от -1 до 1.

Производные функции tanh находятся в диапазоне от 0 до 1.

Преимущества функции tanh:

  1. Выходные данные этой функции находятся в диапазоне от -1 до 1.
  2. Выход функции лучше, чем сигмовидный.

Недостатки функции tanh:

  1. Склонен к проблеме исчезающего градиента.

3. ReLU:

Функция ReLU (Rectified Linear Unit) - это функция активации, которая в настоящее время более популярна. По сравнению с функцией sigmod и tanh она имеет следующие преимущества:

Преимущества функции ReLU:

1) Преодолеть проблему исчезающего градиента.

2) Эта функция эффективна с точки зрения вычислений.

3) Он не активирует все нейроны одновременно.

Недостатки функции ReLU:

  1. Функция не ориентирована на ноль.
  2. Градиент отрицательного входа мертв.

4. Утечка ReLU:

Чтобы решить проблему мертвого ReLU, люди предложили установить первую половину ReLU 0,01x вместо 0.

Преимущества функции Leaky ReLU:

1) Градиент для отрицательного входа не исчезнет по сравнению с ReLU.

Недостатки функции Leaky ReLU:

  1. Это не согласуется с отрицательным мнением.

До конца не доказано, что Leaky ReLU всегда лучше, чем ReLU.

5. Функция ELU (экспоненциальные линейные единицы):

ELU также предлагается для решения проблем ReLU. Очевидно, что ELU обладает всеми преимуществами ReLU, а также:

Преимущества функции ELU:

  1. Нет проблем с Dead ReLU.

2. Среднее значение выхода близко к 0, с нулевым центром.

Недостатки функции ELU:

  1. В случае отрицательных данных это дорогое удовольствие.

В настоящее время на практике нет убедительных доказательств того, что ELU всегда лучше, чем ReLU.

6. PReLU (Параметрическое ReLU):

PReLU также является улучшенной версией ReLU.

Преимущества функции PReLU:

  1. В отрицательной области PReLU имеет небольшой наклон, что также позволяет избежать проблемы смерти ReLU.

2. По сравнению с ELU, PReLU является линейной операцией в отрицательной области.

Хотя наклон небольшой, он не стремится к 0, что является определенным преимуществом.

Смотрим на формулу PReLU. Параметр α обычно представляет собой число от 0 до 1 и обычно относительно невелик, например, несколько нулей.

  1. если a = 0, f становится ReLU
  2. если a = 0,01, f становится негерметичным ReLU
  3. если a - обучаемый параметр, f становится PReLU

7. Swish:

Формула: f (x) = x * sigmoid (x).

Дизайн Swish был вдохновлен использованием сигмовидных функций для стробирования в LSTM и магистральных сетях. Мы используем то же значение для стробирования, чтобы упростить механизм стробирования, который называется ** самозатвором **.

Преимущество автостробирования заключается в том, что для него требуется только простой скалярный ввод, в то время как для обычного стробирования требуется несколько скалярных вводов. Эта функция позволяет функциям автоматической активации, таким как Swish, легко заменять функции активации, которые принимают один скаляр в качестве входных данных (например, ReLU), без изменения скрытой емкости или количества параметров.

1) Неограниченность (неограниченность) помогает предотвратить постепенное приближение градиента к нулю во время медленной тренировки, вызывающее насыщение. В то же время ограниченность имеет преимущества, поскольку ограниченные активные функции могут иметь сильную регуляризацию, и большие отрицательные входные данные будут разрешены.

2) В то же время гладкость также играет важную роль в оптимизации и обобщении.

8. Максимальный выход:

Функция активации Maxout определяется следующим образом:

Одним из относительно популярных вариантов является нейрон Maxout (недавно представленный Гудфеллоу и др.), Который обобщает ReLU и его версию с утечками. Обратите внимание, что как ReLU, так и Leaky ReLU являются частным случаем этой формы (например, для ReLU мы имеем w1, b1 = 0). Таким образом, нейрон Maxout обладает всеми преимуществами блока ReLU (линейный режим работы, отсутствие насыщения) и не имеет его недостатков.

Активация Maxout - это обобщение функций ReLU и утечки ReLU. Это обучаемая функция активации.

Maxout можно рассматривать как добавление уровня функции активации к сети глубокого обучения, которая содержит параметр k. По сравнению с ReLU, сигмоидом и т. Д. Этот слой отличается тем, что он добавляет k нейронов, а затем выводит наибольшее значение активации.

9. Softplus:

Функция softplus похожа на функцию ReLU, но относительно гладкая. Это одностороннее подавление, подобное ReLU. Имеет широкий диапазон допустимости (0, + inf).

Функция Softplus: f (x) = ln (1 + exp x)