Публикации по теме 'adaptive-computation-time'
Время адаптивных вычислений (ACT) в нейронных сетях [1/3]
Время адаптивных вычислений (ACT) в нейронных сетях [1/3]
Часть 1: АКТ в РНС
Есть интересная малоизвестная тема Adaptive Computing Time (ACT) в нейронных сетях. Это применимо к различным типам нейронных сетей (RNN, ResNet, Transformer), и вы можете использовать эту довольно общую идею и в другом месте.
Общая идея состоит в том, что некоторые сложные данные могут потребовать большего количества вычислений для получения окончательного результата, в то время как некоторые простые или..
Время адаптивных вычислений (ACT) в нейронных сетях [3/3]
Время адаптивных вычислений (ACT) в нейронных сетях [3/3]
Часть 3: ACT в трансформаторах
Часть 1 находится здесь . Часть 2 находится здесь .
Наконец, ACT пришла в трансформеры.
Универсальный трансформатор использует оригинальную идею ACT, примененную к трансформатору вместо RNN.
Авторы говорят, что они добавляют к трансформатору повторяющееся индуктивное смещение RNN с динамическим механизмом остановки для каждой позиции. С моей точки зрения, это далеко от повторяющегося..