Обзор XLNet
- Изучение трансформеров в распознавании эмоций: сравнение BERT, DistillBERT, RoBERTa, XLNet и ELECTRA(arXiv)
Автор:Диого Кортис
Аннотация : в этом документе исследуется, как понимание естественного языка (NLU) может быть применено к распознаванию эмоций, конкретной задаче аффективных вычислений. Мы точно настроили различные языковые модели трансформеров (BERT, DistilBERT, RoBERTa, XLNet и ELECTRA), используя подробный набор данных об эмоциях и оценив их с точки зрения производительности (оценка f1) и времени выполнения.
2. LRG на TREC 2020: ранжирование документов с помощью моделей на основе XLNet(arXiv)
Автор: Абхишт Шарма, Харшит Пандей
Аннотация. Создание хорошей системы поиска информации в популярных развлекательных средах является быстро растущей областью исследований как для компаний, так и для исследователей. Мы углубляемся в область поиска информации для подкастов. В конкурсе подкастов Spotify нам дается пользовательский запрос с описанием, чтобы найти наиболее релевантный короткий сегмент из данного набора данных, содержащего все подкасты. Предыдущие методы, которые включают исключительно классические методы поиска информации (IR), плохо работают, когда представлены описательные запросы. С другой стороны, модели, которые полагаются исключительно на большие нейронные сети, как правило, работают лучше. Недостатком этого метода является то, что для вывода результата требуется значительное количество времени и вычислительной мощности. Мы экспериментируем с двумя гибридными моделями, которые сначала отфильтровывают лучшие подкасты на основе запроса пользователя с помощью классической методики IR, а затем выполняют повторное ранжирование документов, включенных в шорт-лист, на основе подробного описания с использованием модели на основе преобразования.
3.DialogXL: All-in-One XLNet для распознавания эмоций при многостороннем общении(arXiv)
Автор:Вэйчжоу Шэнь, Цзюньцин Чен, Сяоцзюнь Цюань, Чжисянь Се
Аннотация: в этом документе представлены наши новаторские усилия по распознаванию эмоций в разговоре (ERC) с помощью предварительно обученных языковых моделей. В отличие от обычных документов разговорные высказывания появляются попеременно с разных сторон и обычно организованы в виде иерархических структур в предыдущей работе. Такие структуры не способствуют применению предварительно обученных языковых моделей, таких как XLNet. Чтобы решить эту проблему, мы предлагаем универсальную модель XLNet, а именно DialogXL, с расширенной памятью для хранения более длительного исторического контекста и самостоятельным вниманием с учетом диалогов для работы с многосторонними структурами. В частности, мы сначала изменим механизм повторения XLNet с уровня сегмента на уровень высказывания, чтобы лучше моделировать разговорные данные. Во-вторых, мы вводим само-внимание с учетом диалога вместо стандартного само-внимания в XLNet, чтобы зафиксировать полезные зависимости внутри и между говорящими. Обширные эксперименты проводятся на четырех эталонных тестах ERC с представленными для сравнения основными моделями. Экспериментальные результаты показывают, что предложенная модель превосходит базовые показатели на всех наборах данных. Также проводится несколько других экспериментов, таких как исследование абляции и анализ ошибок, и результаты подтверждают роль критических модулей DialogXL.
