В искусственных нейронных сетях функция активации нейрона определяет выходные данные этого нейрона с учетом набора входных данных от нейронов на предыдущих слоях.
Функция активации относится к категории гиперпараметров.
Взвешенная сумма входов передается функции активации в нейроне. И эта функция активации будет выполнять какую-то операцию на входе, чтобы перевести сумму в нижний предел или верхний предел. Функции активации также используются для придания нелинейности и являются одним из важных факторов, влияющих на результаты и точность моделей.
Есть несколько функций активации. Давайте рассмотрим несколько наиболее часто используемых функций действия.
сигмовидная
Сигмоидальная функция будет преобразовывать или ограничивать выходные данные между 0 и 1.
Сигмоидальные функции будут моделями, в которых мы предсказываем вероятность в качестве выходных данных. Потому что значение вероятности существует где-то между 0 и 1.
Уравнение:
f(x)f(x) = 1/(1 + e-x)
Тан
Активация Tanh так же полезна для сигмовидной функции. Выходные данные находятся в диапазоне от -1 до 1.
Активация, которая почти всегда работает лучше, чем сигмовидная функция, — это функция Tanh, также известная как касательная гиперболическая функция. Это изменение масштаба логистической сигмовидной.
Уравнение:
f(x)f(x) = 2/(1 + e-2x) — 1
RELU (выпрямленная линейная единица)
RELU преобразует ввод либо в ноль (порог), либо в сам ввод. И это наиболее широко используемая функция активации. Обычно он используется для преобразования всех отрицательных значений в ноль в нейронных сетях.
Уравнение
f(x)f(x) = max(0,x)
Софтмакс
Softmax также является типом сигмовидной функции. Но это будет очень полезно, когда мы будем иметь дело с проблемами классификации.
