В нейронной сети функция активации отвечает за преобразование добавленного взвешенного ввода от узла в активацию узла или дела для этого ввода.
Исправленная функция прямой активации или функция активации ReLU для краткости — это кусочно-прямая функция, которая напрямую воздействует на вход, если он положительный, в противном случае он будет иметь значение ноль. Для многих типов нейронных сетей появилась функция активации отказа, потому что модель, которая ее использует, легче обучать и часто обеспечивает лучшую производительность.
В этом руководстве вы познакомитесь с исправленной функцией прямой активации для нейронных сетей глубокой грамотности.
После прохождения этого урока вы будете знать
.Функции активации сигмовидной и гиперболической дигрессии не могут использоваться в сетях с большим количеством слоев из-за проблемы испаряющегося сорта.
Исправленная функция прямой активации преодолевает проблему испаряющегося класса, позволяя моделям быстрее учиться и работать лучше.
Исправленная прямая активация — это активация по ошибке при разработке многослойного персептрона и сверточных нейронных сетей.
Ограничения функций активации Sigmoid и Tanh
Нейронная сеть состоит из слоев выпуклостей и учится собирать примеры входных данных для работы.
Для данного узла входные данные умножаются на веса в узле и складываются. Это значение относится к дополнительной активации узла. Добавленная активация также преобразуется с помощью функции активации и определяет конкретное дело или «активацию» узла.
Простейшая функция активации относится к прямой активации, при которой трансфигурация вообще не применяется. Сеть, состоящая только из функций прямой активации, очень легко обучить, но она не может обучиться сложным функциям отображения. Линейные функции активации все еще используются в подкасте дел для сетей, которые прогнозируют объем (например, проблемы регресса).
Предпочтение отдается нелинейным функциям активации, поскольку они позволяют бампам изучать более сложные структуры данных. Традиционно двумя широко используемыми нелинейными функциями активации являются сигмовидная и гиперболическая функции активации отклонения.
Сигмовидная функция активации, также называемая логистической функцией, традиционно является очень популярной функцией активации для нейронных сетей. Входные данные функции преобразуются в значение от 0,0 до 1,0. Входные данные, которые намного больше 1,0, преобразуются в значение 1,0, а значения намного меньше 0,0 привязываются к 0,0. Форма функции для всех возможных входных данных представляет собой S-образную форму от нуля до 0,5 до 1,0. Долгое время, вплоть до начала 1990-х, в нейронных сетях использовалась активация отказа.
Гиперболическая функция отклонения, или сокращенно tanh, представляет собой нелинейную активацию аналогичной формы, которая работает со значениями от -1,0 до 1,0. После 1990-х и в течение 2000-х годов функция tanh была предпочтительнее сигмовидной функции активации, поскольку модели, которые ее использовали, было легче обучать и часто имели лучшие пророческие характеристики.
Insideaiml — это платформа искусственного интеллекта, позволяющая узнать о лучших технологиях и курсах, таких как искусственный интеллект и машинное обучение.
