Публикации по теме 'attention-mechanism'


О позиционных кодировках в механизме внимания
Предварительные требования : Знание нейронных сетей. Существует так называемый механизм внимания, и вам не нужно знать, что такое внимание. Ваш RNN / LSTM не работает. Внимание - все, что вам нужно , написанное А. Васвани и соавторами, считается одним из достижений в устранении ограничений хорошо известных архитектур LSTM / RNN в области глубокого обучения. В статье представлено использование преобразователей для задачи последовательности sequence2. В статье умно..

Внимание: забудьте о рекуррентных нейронных сетях.
Вам, вероятно, следует заменить свои повторяющиеся сети свёртками и быть счастливым Некоторые говорят, что перевод с одного языка на другой - это больше искусство, чем наука. Не так давно Дуглас Хофштадтер в статье , опубликованной в The Atlantic, указал на поверхностность машинных переводов. Несмотря на ограничения, трудно отрицать, что программное обеспечение автоматического перевода не только работает достаточно хорошо во многих случаях, но и что лежащая в его основе технология..