- Обобщение мнений без присмотра в пространстве Вассерштейна (arXiv)
Автор: Jiayu Song, Iman Munire Bilal, Adam Tsakalidis, Rob Procter, Maria Liakata.
Аннотация: обобщение мнений объединяет мнения, выраженные в группе документов, обсуждающих одну и ту же тему, для создания единого резюме. В недавней работе рассматривалось обобщение мнений по группам постов в социальных сетях. Такие сообщения шумны и имеют непредсказуемую структуру, что создает дополнительные проблемы для построения сводного распределения и сохранения смысла по сравнению с онлайн-обзорами, которые до сих пор были в центре внимания при обобщении мнений. Для решения этих проблем мы представляем \textit{WassOS}, неконтролируемую абстрактную модель суммирования, в которой используется расстояние Вассерштейна. Вариационный автоэнкодер используется для получения дистрибутивов документов/постов, и дистрибутивы распутываются в отдельные семантические и синтаксические пространства. Суммарное распределение получается с использованием барицентра Вассерштейна семантического и синтаксического распределений. Скрытая переменная, выбранная из сводного распределения, подается в декодер GRU со слоем преобразователя для получения окончательной сводки. Наши эксперименты с несколькими наборами данных, включая кластеры Twitter, потоки Reddit и обзоры, показывают, что WassOS почти всегда превосходит современные показатели по метрикам ROUGE и неизменно дает лучшие сводки в отношении сохранения смысла в соответствии с человеческими оценками.
2. Нейронные сети среднего поля: обучающие отображения в пространстве Вассерштейна (arXiv)
Автор: Huyên Pham, Xavier Warin.
Аннотация: Мы изучаем задачу машинного обучения для моделей с отображением операторов между пространством вероятностных мер Вассерштейна и пространством функций, например, в играх среднего поля/задачах управления. Два класса нейронных сетей, основанные на плотности ячеек и цилиндрической аппроксимации, предлагаются для изучения этих так называемых функций среднего поля и теоретически поддерживаются универсальными теоремами аппроксимации. Мы проводим несколько численных экспериментов для обучения этих двух нейронных сетей среднего поля и показываем их точность и эффективность в отношении ошибки обобщения с различными тестовыми распределениями. Наконец, мы представляем различные алгоритмы, основанные на нейронных сетях среднего поля для решения зависящих от времени задач среднего поля, и иллюстрируем наши результаты численными тестами на примере полулинейного уравнения в частных производных в пространстве вероятностных мер Вассерштейна.
