Каждый нейрон принимает m входных данныхx и имеет m весов (рассчитанных во время обучения модели ИИ), умноженных на них, и применяет функцию активации для получения >Вывод. Вес 0 называется смещением.
Нейронная сеть состоит из нескольких слоев нейронов, расположенных один за другим. Первый слой называется входной слой, а последний слой — выходной слой, а слои между ними — скрытые слои.
Типы нейронных сетей
Модель вектор-последовательность — она берет вектор и создает последовательность. например сделайте снимок и создайте список слов, описывающих изображение. (изображение собаки может привести к выводу «Большая собака»)
Модель Sequence to Vector — берет последовательность и создает вектор. Вариант использования — анализ настроений.
Модель "Последовательность к последовательности" – берет последовательность и создает последовательность. Вариант использования — автозавершение предложений, предугадывание следующего слова при наборе
Модель кодировщик-декодер — выходные данные из модели «Последовательность в вектор» передаются в модель «Вектор в последовательность». Вариант использования — языковой перевод
Исчезающий и взрывающийся градиент
1- Введите пропущенные соединения (архитектура ResNet)
2- Удалите соединения длины 1 и замените их длинным соединением.
3- Представьте единицу Leaky Recurent.
4- Закрытые рекуррентные сети. Вводит переменные для обучения, чтобы сеть запоминала или забывала. (ЛСТМ)
