Время адаптивных вычислений (ACT) в нейронных сетях [1/3] Часть 1: АКТ в РНС Есть интересная малоизвестная тема Adaptive Computing Time (ACT) в нейронных сетях. Это применимо к различным типам нейронных сетей (RNN, ResNet, Transformer), и вы можете использовать эту довольно общую идею и в другом месте. Общая идея состоит в том, что некоторые сложные данные могут потребовать большего количества вычислений для получения окончательного результата, в то время как некоторые простые или..

Время адаптивных вычислений (ACT) в нейронных сетях [3/3] Часть 3: ACT в трансформаторах Часть 1 находится здесь . Часть 2 находится здесь . Наконец, ACT пришла в трансформеры. Универсальный трансформатор использует оригинальную идею ACT, примененную к трансформатору вместо RNN. Авторы говорят, что они добавляют к трансформатору повторяющееся индуктивное смещение RNN с динамическим механизмом остановки для каждой позиции. С моей точки зрения, это далеко от повторяющегося..