Как работает позиционное кодирование
1.Преобразователь на основе динамического относительного кодирования положения для автоматического редактирования кода(arXiv)
Автор: Шии Ци, Яосянь Ли, Цуйюнь Гао, Сяохун Су, Шучжэн Гао, Цзыбин Чжэн, Чуаньи Лю
Аннотация . В последнее время интенсивно изучается адаптация методов глубокого обучения (DL) для автоматизации нетривиальных операций кодирования, таких как документирование кода и обнаружение дефектов. Обучение прогнозированию изменений кода — одно из популярных и важных исследований. Предыдущие исследования показали, что такие методы глубокого обучения, как нейронный машинный перевод (NMT), могут принести пользу при внесении значимых изменений в код, включая исправление ошибок и рефакторинг кода. Однако модели NMT могут столкнуться с узким местом при моделировании длинных последовательностей, поэтому они ограничены в точном прогнозировании изменений кода. В этой работе мы разрабатываем подход на основе Transformer, учитывая, что Transformer доказал свою эффективность в захвате долгосрочных зависимостей. В частности, мы предлагаем новую модель под названием DTrans. Для лучшего включения локальной структуры кода, т. е. информации на уровне операторов в этой статье, DTrans разработан с динамически относительным кодированием положения в многоголовом внимании Transformer. Эксперименты с эталонными наборами данных показывают, что DTrans может более точно генерировать исправления, чем современные методы, увеличивая производительность как минимум на 5,45\%-46,57\% с точки зрения метрики точного соответствия для разных наборов данных. Более того, DTrans может определить местонахождение линий для изменения с точностью на 1,75\%-24,21\% выше, чем существующие методы.
2. Обобщенная классификация временных рядов спутниковых изображений с тепловым позиционным кодированием(arXiv)
Автор:Иоахим Нюборг, Шарлотта Пеллетье, Ира Ассент
Аннотация:Крупномасштабная классификация типов сельскохозяйственных культур является задачей, лежащей в основе усилий по дистанционному зондированию с приложениями, имеющими как экономическое, так и экологическое значение. Современные современные методы глубокого обучения основаны на самоконтроле и используют временные ряды спутниковых изображений (SITS) для различения типов сельскохозяйственных культур на основе их уникальных моделей роста. Однако существующие методы плохо обобщаются на регионы, которые не были замечены во время обучения, в основном из-за того, что они не устойчивы к временным сдвигам вегетационного периода, вызванным изменениями климата. С этой целью мы предлагаем тепловое позиционное кодирование (TPE) для классификаторов культур, основанных на внимании. В отличие от предыдущего позиционного кодирования, основанного на календарном времени (например, день в году), TPE основан на тепловом времени, которое получается путем накопления среднесуточных температур в течение вегетационного периода. Поскольку рост сельскохозяйственных культур напрямую связан с тепловым временем, а не с календарным временем, TPE учитывает временные сдвиги между различными регионами для улучшения обобщения. Мы предлагаем несколько стратегий TPE, включая обучаемые методы, для дальнейшего улучшения результатов по сравнению с обычными фиксированными позиционными кодировками. Мы демонстрируем наш подход к задаче классификации сельскохозяйственных культур в четырех различных европейских регионах, где мы получаем самые современные результаты обобщения.
3. Улучшенная структура Incremental Transformer Inpainting Image с маскированием PositionalEncoding(arXiv)
Автор: Цяоле Дун, Чэньцзе Цао, Яньвэй Фу
Вывод:за последние годы в рисовании магов произошел значительный прогресс. Однако восстановить поврежденные изображения с яркими текстурами и разумной структурой по-прежнему сложно. Некоторые конкретные методы работают только с обычными текстурами, теряя при этом целостные структуры из-за ограниченных рецептивных полей сверточных нейронных сетей (CNN). С другой стороны, модели, основанные на внимании, могут лучше изучить долгосрочную зависимость для восстановления структуры, но они ограничены тяжелыми вычислениями для вывода с большими размерами изображений. Чтобы решить эти проблемы, мы предлагаем использовать дополнительный реставратор структуры, чтобы облегчить поэтапную прорисовку изображения. Предлагаемая модель восстанавливает целостные структуры изображения с помощью мощной модели преобразования, основанной на внимании, в фиксированном пространстве эскиза с низким разрешением. Такое пространство в градациях серого легко преобразовать в более крупные масштабы для передачи правильной структурной информации. Наш восстановитель структуры может быть эффективно интегрирован с другими предварительно обученными моделями рисования с добавлением остатка с нулевой инициализацией. Кроме того, для повышения производительности при использовании больших нерегулярных масок используется стратегия позиционного кодирования с маскированием. Обширные эксперименты с различными наборами данных подтверждают эффективность нашей модели по сравнению с другими конкурентами. Наши коды опубликованы в https://github.com/DQiaole/ZITS_inpainting
