Один из подходов к созданию системы ответов на вопросы для ответов на вопросы пользователей из связанных данных (или баз данных / графов знаний) заключается в использовании модели глубокого обучения с большим набором обучающих пар вопрос-ответ для конкретного приложения для непрерывного обучения. система. Альтернативный нейро-символический подход заключался бы в создании системы путем объединения нескольких компонентов, каждый из которых обучен на собственном общем наборе данных, с очень небольшим количеством специфичных для приложения пар qa, порядка нескольких сотен или меньше, для адаптации к предметной области.

В этой нейро-символической системе мы полагаемся на семантический синтаксический анализатор, чтобы преобразовать входной вопрос в формальное представление того, что мы просим. В этом блоге мы представляем наш подход к семантическому синтаксическому анализу, который использует семантическое представление общего назначения широкого домена, называемое абстрактным представлением смысла (AMR); Преимущество этого подхода аналогично предварительному обучению в моделях сквозного глубокого обучения, то есть иметь общую основу для эффективного использования трансферного обучения в новую конкретную область. Мы применяем наш подход к QALD-9 [1], тесту с ответами на вопросы по связанным данным на основе DBpedia 2016, и показываем отличные результаты с минимальными усилиями по адаптации. Общая система описана в [NSQA].

В этом блоге мы кратко рассмотрим следующие темы:

  1. Обзор AMR для объяснения разнообразия семантики, фиксируемой AMR.
  2. Адаптация домена универсального анализатора AMR к интересующей области, а именно QALD-9 [1].
  3. Связывание сущностей и отношений, чтобы помочь обосновать анализ AMR относительно данной базы знаний.

Обзор AMR:

Граф AMR предложения на естественном языке - это ациклический граф узлов понятий с направленными именованными ребрами к узлам аргумента / модификатора. На рисунке 1 показан график AMR для:

«Кто снимается в испанских фильмах Бенисио дель Торо?»

Корневой узел имеет смысл слова «звезда-01» и представляет собой концептуальный фрейм, который может принимать 3 аргумента, как показано на рисунке 2. AMR имеет около 9 тысяч концептуальных фреймов с их структурой аргументов (кто, что, с кем, когда и где), чтобы уловить смысл. общего английского.

В этом примере AMR указывает, что пользователь ищет актера (ARG1 звезды-01, который обозначен как amr-unknown) в «фильмах» из «Испании» (именованный объект типа страна), а фильм - ARG1 производства- 01; также обратите внимание, что человек ARG0 по имени «Бенисио Дель Торо» является агентом продюсера-01.

Общее абстрактное представление смысла довольно эффективно, чтобы уловить «сущность» значения вопроса. Существует несколько подходов к созданию анализатора AMR для построения графика предложения. Мы в IBM Research AI разработали один подход с использованием модели глубокого обучения с использованием стека действий для создания графа. Наш анализатор AMR обеспечивает новую производительность на традиционных наборах тестов LDC [2].

Обратите внимание, что несколько перефразирований предложения будут иметь тот же график AMR, что и

показано на рисунке 3. Например, следующие предложения имеют одинаковый AMR. Обратите внимание, что мальчик - это ARG0 для хочу-01 и ARG1 для веры-01, а девочка - это ARG0 для веры-01, что является ARG1 для хочу-01.

Адаптация домена:

Чтобы улучшить производительность анализатора AMR в жанре «вопросы» по сравнению с декларативными предложениями, которые преобладают в корпусе AMR LDC, мы добавили данные обучения из графов AMR, сгенерированных человеком, для вопросов из банка вопросов, SQuAD и LC-QuAD 2.0. Мы сравнили 3 анализатора AMR: i) синтаксический анализатор, обученный на исходном корпусе LDC AMR (AMR 2.0), ii) синтаксический анализатор, обученный на смеси LDC и вопросов, и iii) синтаксический анализатор также настроен на 350 пар вопросов-ответов из QALD-9 домен. В наборе QALD dev предварительно обученные анализаторы AMR на LDC и LDC + Questions достигают оценки Smatch около 80% и 86% соответственно (Smatch - это примерно F-мера на тройках узел-связь-узел на графике AMR) . Добавление AMR вопросов очень полезно на этапе подготовки к обучению. Кроме того, когда мы выполняем точную настройку 350 предложений QALD-9 для адаптации домена, Smatch улучшается еще до 90% (примеры выходных данных тонко настроенного синтаксического анализатора показаны на рисунках 2 и 3 выше).

Связывание сущностей и отношений:

Чтобы сделать анализ AMR действенным, нам нужно выполнить связывание сущностей, чтобы сопоставить упоминания сущностей в вопросе с KG; например что Бенисио - это конкретное лицо в Кыргызстане, а Испания - это отдельная страна в Кыргызстане. Мы использовали стандартную систему связывания сущностей SOTA, подробно описанную в этой статье [3].

В дополнение к связыванию сущностей нам также необходимо выполнить связывание отношений, которое сопоставляет концепции AMR, такие как star-01 и Produce-01, с соответствующими отношениями онтологии DBpedia (2016) dbo: В ролях и dbo: продюсер. Модуль связывания отношений обеспечивает производительность SOTA в различных тестах RL, как описано в [4, RL].

Компоненты анализатора AMR, связывания сущностей и связывания отношений объединены с двумя дополнительными модулями: i) AMR-to-Logic, которые преобразуют заземленный AMR в запрос SPARQL, и ii) Логическая нейронная сеть (LNN) выполняет дополнительные рассуждения для улучшения ответ на запрос SPARQL. Общая система систем, показанная на рисунке 4, более подробно обсуждается в блоге Neuro-Symbolic QA. Система Neuro-Symbolic QA (NSQA) достигла Macro F1-QALD 45,3% на QALD-9 и F1 38,3% на LC-QuAD-1 [5], опережая современные системы, настроенные на соответствующие наборы данных (43,0% и 33,0%). Подробное описание NSQA доступно в [6].

Подводя итог, мы разработали NSQA, систему, которая не требует сквозной тонкой настройки, но превосходит современные системы по задачам KBQA.

Ссылки

[1] Рикардо Усбек, Риа Хари Гусмита, Аксель-Сирил Нгонга Нгомо и Мухаммад Салим. 2018. Девятый вызов по ответам на вопросы по связанным данным. В QALD на ISWC. 58–64.

[2] Янг-Сок Ли, Рамон Фернандес Астудилло, Тахира Насим, Ревант Ганги Редди, Раду Флориан и Салим Рукос. 2020. Расширение границ анализа AMR с помощью самообучения. В выводах ЕМНЛП.

[3] Леделл Ву, Фабио Петрони, Мартин Йосифоски, Себастьян Ридель и Люк Зеттлемойер. Масштабируемая связь объекта с нулевым выстрелом с извлечением плотного объекта. Https://arxiv.org/pdf/1911.03814.pdf

[4] Нандана Михиндукуласоория, Гаэтано Россиелло, Паван Капанипати, Ибрагим Абдельазиз, Шринивас Равишанкар, Мо Ю, Альфио Глиоззо, Салим Рукос и Александр Грей. Использование семантического анализа для установления связи в базе знаний. 2020. Семантическая паутина ISWC 2020. 402–419.

[5] Приянш Триведи, Гаурав Махешвари, Мохниш Дубей и Йенс Леманн. LC-QuAD: Корпус для ответов на сложные вопросы по графам знаний. Http://lc-quad.sda.tech/lcquad1.0.html

[6] Паван Капанипати и др. 2020. Ответы на вопросы по базам знаний с помощью семантического анализа и нейросимволических рассуждений. Https://arxiv.org/abs/2012.01707