Широко доступные онлайн-отзывы клиентов помогают пользователям принимать решения в различных областях (например, в отелях, ресторанах или на работе). После создания списка возможных вариантов на основе первоначальных предпочтений (например, площади, диапазона цен и типа ресторана) пользователю часто приходится тщательно сравнивать несколько вариантов, внимательно читая обзоры, чтобы принять окончательное решение. Однако этот метод отнимает много времени, и пользователю сложно обнаружить различия и сходства между кандидатами, поскольку эти фрагменты информации часто разбросаны по разным обзорам.

Недавний успех методов нейронного обобщения и рост платформ онлайн-обзоров привели к тому, что в последнее время исследования сосредоточились на обобщении мнений по нескольким документам. Цель обобщения мнений, состоящих из нескольких документов, состоит в том, чтобы создать сводку, отражающую основные мнения в отзывах о конкретном отеле или продукте. В предыдущих статьях блога мы представили ряд наших усилий по обобщению мнений, в том числе Coop, систему обобщения мнений для конкретных объектов, OpinionDigest, управляемую систему обобщения мнений, ExtremeReader, интерактивный проводник для настраиваемого обобщения отзывов. , и Snippext, мощный инструмент для извлечения мнений на основе аспектов, который расширяет возможности вышеупомянутых систем обобщения. Хотя сгенерированные сводки предлагают общую и краткую информацию о конкретном отеле или продукте, этой информации может быть недостаточно, чтобы помочь пользователю сравнить несколько вариантов. Таким образом, пользователь может по-прежнему мучиться вопросом: Какой из них мне выбрать?

В этом сообщении блога мы делаем еще один шаг за пределы текущего объема обобщения мнений и предлагаем CoCoSum, структуру, которая направлена ​​​​на создание контрастных и общих резюме путем сравнения нескольких объектов. Эта структура состоит из двух базовых моделей обобщения, которые совместно генерируют контрастные и общие резюме.

Обобщение сравнительного мнения

Проблема, которую решает CoCoSum, — это проблема обобщения сравнительных мнений: при наличии двух наборов отзывов о двух объектах, таких как отели, мы определяем противоположные мнения целевого объекта A по сравнению с контрагентом B как субъективную информацию, которая описывается только в наборе отзывов целевого объекта. обзоры, но не в обзорах контрагента. Мы называем сводку, содержащую такие мнения, контрастирующей сводкой. Точно так же мы определяем общепринятое мнение о сущностях A и B как субъективную информацию, описанную в обоих наборах отзывов. Мы называем сводку, содержащую общие мнения, общей сводкой.

Мы формализуем сравнительное обобщение мнений как задачу, которая генерирует два набора сопоставительных резюме и одно общее резюме из двух наборов обзоров для пары сущностей A и B (как показано на рисунке 2).

Помимо этой формализации, мы создали первый эталонный набор данных для сравнительного обобщения мнений, CoCoTrip, который включает 96 написанных человеком сравнительных резюме и 48 общих резюме. Набор данных CoCoTrip доступен здесь: https://github.com/megagonlabs/cocosum

КоКоСум

Чтобы обобщить противоположные и общие мнения из двух наборов обзоров, задача обобщения сравнительного мнения требует, чтобы модель сравнила и сопоставила два набора обзоров; однако существующие модели обобщения мнений с одним объектом не имеют такой функциональности. Поэтому мы разработали «совместное» декодирование, которое характеризует целевое суммарное распределение, используя две базовые модели суммирования.

Базовые модели суммирования

CoCoSum состоит из двух базовых моделей суммирования. Базовая контрастивная модель обобщения — это модель обобщения с одним объектом, которая принимает в качестве входных данных только обзоры целевого объекта, в то время как базовая модель общего суммирования использует обзоры двух объектов в качестве входных данных. В обоих случаях входные обзоры объединяются в единую последовательность перед кодированием. Чтобы помочь кодировщику отличить сущность, во входной слой кодировщика вводятся дополнительные вложения типов. Базовые модели суммирования дают контрастную суммарную вероятность токена p_cont (рис. 3, а) и общую суммарную суммарную вероятность токена p_comm (рис. 3, б).

Совместное декодирование

Совместное декодирование объединяет прогнозы целевой и встречной (и общей, для общего создания сводки) моделей суммирования мнений в течение времени вывода.

Ключевая идея совместного декодирования состоит в том, чтобы на каждом шаге агрегировать распределения вероятностей токенов контрастной модели суммирования p_cont и общей модели суммирования p_comm. Таким образом, две модели могут совместно генерировать (1) сопоставительные сводки, содержащие особые мнения, которых нет в наборе обзоров коллег, и (2) общие сводки, которые содержат только общие мнения, которые появляются как в наборах целевых обзоров, так и в наборах обзоров партнеров.

Генерация контрастного резюме

Чтобы повысить четкость сгенерированных сравнительных сводок, содержащих только мнения конкретных организаций, мы рассмотрели возможность наказания токенов, которые могут появиться в контрагенте. То есть мы будем использовать два распределения вероятностей токенов и выделять токены, отличающиеся от объекта-контрагента, используя распределение отношения токенов между ними.

Интуиция, стоящая за этим подходом, заключается в том, что распределение соотношения токенов выделяет отличительные токены, которые относительно уникальны для целевого объекта, что подчеркивается путем их объединения с исходным распределением токенов.

Генерация общей сводки

Общие резюме должны содержать общие мнения о данной паре сущностей. Однако мы заметили, что просто точно настроенные модели обобщения имеют тенденцию генерировать чрезмерно общие сводки, которые могут быть верны для любой пары сущностей.

Чтобы включить информацию, относящуюся к объекту, в общую сводку, мы разработали совместное декодирование, чтобы использовать сумму распределений вероятностей токенов модели контрастного суммирования с исходным распределением вероятностей токенов.

Интуиция, лежащая в основе этого подхода, заключается в том, что мы должны сначала идентифицировать важные маркеры для входной пары объектов, добавляя распределения вероятностей маркеров контрастных сводок. Только потом он объединяется с исходным дистрибутивом.

Мы хотели бы подчеркнуть, что совместное декодирование — это метод расчета распределения токенов для сравнительного суммирования мнений, основанный на двух моделях суммирования; таким образом, он не зависит от базовой модели суммирования и алгоритма декодирования.

Создание сравнительных сводок с или без совместного декодирования

Давайте проиллюстрируем, как совместное декодирование улучшает различимость сгенерированных сводок. В следующих разделах эта тема будет подробно рассмотрена.

Сравнительные и общие резюме

Давайте сначала посмотрим на сводки, которые генерируются базовой моделью и CoCoSum. Мы подчеркиваем «плохой» контент, если он содержит неверные мнения, галлюцинации или слишком общие описания. Как показано, CoCoSum генерирует сводки с гораздо меньшим «плохим» содержанием, чем базовая модель.

Оценка человека

Чтобы еще раз подтвердить эффективность CoCoSum, мы попросили людей-аннотаторов оценить качество сгенерированных сводок по трем различным аспектам:

(1). Перекрытие содержания: насколько содержание между контрастным и общим резюме перекрывается. Лучше меньше перекрытий.

(2). Поддержка содержания: соответствует ли резюме входным обзорам (т. е. степень галлюцинации), соотношение предложений, которые полностью, частично или не поддерживаются входным обзором.

(3). Качество: насколько последовательным, информативным и не повторяющимся является резюме, в диапазоне от 1 до 5.

Как показано в таблице ниже, сводки, созданные CoCoSum, содержат меньше совпадений контента между сгенерированными сводками и большую поддержку контента для отзывов целевого отеля. Между тем, по сравнению с BiMeanVAE и OpinionDigest, CoCoSum показывает гораздо лучшую производительность по всем трем критериям.

Автоматическая оценка

И последнее, но не менее важное: мы оценили показатели качества обобщения по BERTscore и по показателю различимости. BERTScore вычисляет мягкое семантическое выравнивание между золотыми справочными сводками и сгенерированными сводками (чем выше, тем лучше), а показатель отличительности измеряет соотношение неперекрывающихся униграмм в контрастных и общих сводках. Как показано в таблице ниже, модель CoCoSum работает лучше среди надежных базовых моделей системы обобщения мнений.

Еда на вынос

В этом блоге мы представили CoCoSum, платформу обобщения мнений для сравнительного обобщения мнений. Мы выпустили первый эталонный набор данных для сравнительного обобщения мнений, CoCoTrip и кодовую базу для воспроизведения этого исследования. Вы можете найти их здесь: https://github.com/megagonlabs/cocosum

Хотите узнать больше о CoCoSum? Ознакомьтесь с нашим предстоящим исследовательским документом по ACL (https://arxiv.org/abs/2110.07520), который будет представлен на ACL 2022 (22–27 мая 2022 г.)! У вас есть вопросы о том, как это работает? Свяжитесь с нами сегодня!

Сценарий: Хаяте Исо, Сяолань Ван и Megagon Labs.

Следуйте за нами LinkedIn и Twitter, чтобы быть в курсе новых исследований и проектов.