Краткий обзор Что такое градиент? Градиент относится к градиенту функции потерь по отношению к весам. Мы вычисляем градиент во время обратного распространения в рекуррентных нейронных сетях. Эти градиенты используются для обновления весов, чтобы минимизировать функцию потерь. С обратным распространением мы можем столкнуться в основном с двумя проблемами: Исчезающий градиент Взрывающийся градиент Исчезающий градиент: Исчезающий градиент возникает, когда градиент..