10 вещей, которые мы узнали на NAACL’21
На прошлой неделе состоялась виртуальная конференция NAACL 2021, на которой присутствовало более 2500 человек и было представлено 500 докладов о последних достижениях в области компьютерной лингвистики и обработки естественного языка. Если вы хотите глубже погрузиться в исследовательские работы, ознакомьтесь с полной версией - но вы также можете просто начать с резюме 10 коротких уроков, которые мы извлекли на конференции!
1. Переформулируйте задачи с помощью [MASK]
В своем выступлении Хинрих Шютце рассказал о том, как люди часто учатся на основе описания задач, а не большого количества обучающих выборок. Это понимание поднимает вопрос, можем ли мы интегрировать описания задач в обучение моделей НЛП. Идея состоит в том, чтобы перевести описания задач во что-то, что можно было бы использовать в качестве задачи для обучения языковой модели с масками. Например, задача разрешения анафоры, подзадача разрешения кореферентности, может быть выражена как задача найти замаскированное слово в следующих трех предложениях: «Салли прибыла. Никто ее не видел. В предыдущем предложении местоимение «она» относится к МАСКЕ ».
Образец, описывающий задачу: В предыдущем предложении местоимение« p относится к МАСКЕ». Авторы называют свой подход PET (Pattern Exploiting Training) и показывают, что PET использует описания задач для лучшего обучения за несколько шагов. Интересно, что дополнительное преимущество описания задач становится меньше с увеличением количества обучающих выборок. При 1000 сэмплах разницы почти нет. Слайды, использованные в докладе, опубликованы здесь.
2. Релевантный, нерелевантный и третий класс документов в рейтинге
В учебнике Эндрю Йейтса, Родриго Ногейры и Джимми Лина «Предварительно подготовленные преобразователи для ранжирования текста: BERT и не только» мы узнали, что в задаче ранжирования может быть больше типов документов, чем релевантных и нерелевантных. При ранжировании документов о COVID-19, как в коллекции TREC-COVID, следует учитывать третий тип документов, которые вводят в заблуждение из-за дезинформации. Показывать эти вводящие в заблуждение документы в качестве лучших результатов было бы даже хуже, чем показывать нерелевантные документы. Это понимание необходимо учитывать при обучении и оценке моделей ранжирования.
Учебное пособие также познакомило нас с Приблизительной отрицательной контрастной оценкой ближайшего соседа (ACNE), которая является альтернативой поиску плотного прохода (DPR). Оба подхода используют положительные образцы и жестко отрицательные образцы для обучения модели поиска. DPR выбирает жесткие негативы, семантически похожие на позитивные, например, с BM25. В отличие от этого, ANCE выбирает жесткие негативы, специфичные для обучаемой модели. Этот набор жестких отрицаний обновляется в процессе обучения, так что модель демонстрирует более жесткие отрицания по мере продвижения обучения. Письменное резюме учебника на 155 страницах находится на arXiv. Отличная работа!
3. Зарегистрированные отчеты о медленной науке в НЛП
В статье Эмиеля ван Мильтенбурга и др. Предварительная регистрация исследования НЛП. победила в номинации Лучшая тематическая статья - поздравляем! В документе начинается обсуждение предварительной регистрации, что означает описание этапов и ожиданий исследовательского проекта перед его выполнением. Пока это редко встречается в НЛП, но было бы здорово, если бы наше сообщество могло это изменить. Предварительная регистрация отвечает на вопросы, которые стоит задать себе при запуске исследовательского проекта, и мы думаем, что это может быть особенно полезно для аспирантов, которые только начали. Примеры вопросов: Как вы будете определять выбросы в своих данных и какие правила вы будете применять для исключения наблюдений? или Как вы будете измерять качество продукции? или Какие типы ошибок вы ожидаете найти при анализе ошибок?. Если вам интересна эта тема, рекомендуем посмотреть видео на YouTube. Не забудьте узнать о победителях других наград NAACL 2021 здесь.
4. Что, если бы у компаний было собственное встраивание слов?
Помимо основного направления исследований, NAACL также имел отраслевое направление. Query2Prod2Vec: обоснованные встраивания слов для электронной коммерции »Федерико Бьянки и др. выиграл награду за лучшую отраслевую бумагу в этом треке. Речь идет о языковом обосновании, когда значение названий продуктов извлекается из взаимодействий в электронной коммерции. Поисковые запросы в интернет-магазине и элементы, которые пользователь нажимает в результатах поиска, помогают лучше узнать встраивание продукта, чем использование только названия продукта и word2vec. В результате похожие изделия расположены ближе друг к другу в пространстве для встраивания. К сожалению, код и данные еще не опубликованы.
5. Задавайте вопросы по таблицам, а не только по тексту
Плотный поиск и ответы на вопросы работают не только с текстами, но и с таблицами. « Ответы на открытый вопрос по таблицам с помощью плотного поиска » Джонатан Херциг и др. представляет собой эффективный инструмент для извлечения плотных таблиц на основе кодировщика TAPAS тех же авторов и демонстрирует, что сквозные ответы на вопросы ретранслятора на основе BERT могут быть улучшены с 33,8 до 37,7 точного соответствия. Приятно видеть, что они опубликовали код и модели, и мы уверены, что где-то кто-то уже опирается на их результаты, продолжая это направление исследований.
6. Деконтекстуализированные предложения
Разделение текстового документа на отрывки и их интерпретация по отдельности иногда создает проблему, когда контекст из одного отрывка необходим для понимания другого отрывка. Eunsol Choi et al. обратились к этой проблеме в своей статье Деконтекстуализация: выделение предложений отдельно. Например, представьте себе следующий абзац, в котором последнее предложение нужно деконтекстуализировать.
Абзац: «Сборная Хорватии по футболу пять раз выступала на чемпионате мира по футболу. Их лучший результат - выход в финал 2018 года ».
Деконтекстуализированное предложение: «Лучший результат сборной Хорватии по футболу до сих пор на чемпионате мира по футболу - выходил в финал 2018 года».
Статья была опубликована ранее в журнале TACL, что дает авторам возможность представить свои работы также на конференции. Таким образом, TACL сочетает в себе преимущества процесса рецензирования журнала с опциями для исправлений, помимо строгого принятия / отклонения и участия в конференции.
7. Заполните пробел.
Гуанхуи Цин и Джейсон Эйснер представили свой доклад Учимся спрашивать: запросы LM с помощью смеси мягких подсказок, который относится к шаблонам, упомянутым в программном выступлении Хинриха Шютце ». В статье описывается, как извлекать знания из языковых моделей с использованием парадигмы заполнения пустого места. Они расширяют идею использования слов в подсказках (вопросы к языковой модели) до мягких подсказок, которые не обязательно состоят из настоящих слов, но мягких слов. Эти мягкие слова представляют собой вложения, которые не соответствуют фактическому слову в словаре, и можно выучить наиболее эффективные программные подсказки. Картинка стоит тысячи слов, поэтому взгляните на этот слайд. И последнее, но не менее важное - поздравляем с наградой за лучшую короткую статью!
8. Что на самом деле происходит внутри BERT?
В обзорной статье Введение в БЕРТологию: что мы знаем о том, как работает БЕРТ »Анны Роджерс и др. обобщает результаты более 150 исследований моделей BERT. Например, BERT принимает во внимание соглашение между субъектом и предикатом при выполнении задачи закрытия - это вывод, который затем помещается в контекст со ссылками на связанную работу. В этом документе также замечательно то, что все основные выводы выделены жирным шрифтом, что упрощает чтение.
9. Объяснимость и интерпретируемость моделей ответов на вопросы
Состоялось несколько встреч и встреч по вопросам ответов на вопросы. Личным событием стала дискуссия с Грегом Дарретом, Бехзадом Гольшаном и Юфанг Хоу об объяснимости и интерпретируемости моделей ответов на вопросы. Такие методы, как обрезка, пертурбация, интегрированные градиенты и карты значимости, использовались для обеспечения интерпретируемости текстовых классификаторов, и мы говорили о том, как применить эти методы к моделям с ответами на вопросы. Мы согласились, что у них есть очевидные ограничения, но их стоит попробовать. Это хорошая тема для исследования, и мы надеемся увидеть больше статей по ней на предстоящих конференциях.
10. Виртуальные конференции - здесь надолго?
Большинство из вас, вероятно, уже имели собственный опыт участия в различных виртуальных конференциях за последний год. Было здорово видеть, как все хорошо работает в NAACL. С помощью whova, underline, gather.town и Zoom единственной проблемой была разница в часовых поясах, а также возможность избежать затеряться в виртуальном конференц-пространстве при поиске подходящего сеанса. С SIGIR и ACL в ближайшие несколько месяцев состоятся еще две полностью виртуальные конференции. Мы уверены, что с правильными инструментами эти мероприятия увенчаются успехом. Также очень ждем возможности посетить ЕМНЛП в гибридном формате в ноябре.
