Архитектура нейронных сетей, подобная трансформатору, сыграла решающую роль в обработке естественного языка (NLP) и теперь все чаще применяется в области компьютерного зрения (CV) и связанных с ней исследований. В документе, представленном на ICLR 2021, предлагается LambdaNetworks, новый специфичный для трансформатора метод, разработанный для решения проблемы дорогостоящих карт внимания при моделировании дальнодействующих взаимодействий. В машинном обучении механизмы внимания - это..