- RankGen: улучшение генерации текста с помощью больших моделей ранжирования (arXiv)
Автор: Калпеш Кришна, Япей Чанг, Джон Витинг, Мохит Ийер
Аннотация. Учитывая входную последовательность (или префикс), современные языковые модели часто присваивают высокую вероятность повторяющимся, бессвязным или не относящимся к префиксу выходным последовательностям; как таковой, сгенерированный моделью текст также содержит такие артефакты. Чтобы решить эти проблемы, мы представляем RankGen, модель кодировщика (параметры 1,2 млрд), которая оценивает поколения моделей с заданным префиксом. RankGen можно гибко включить в качестве функции подсчета очков в поиск луча и использовать для декодирования любой предварительно обученной языковой модели. Мы обучаем RankGen, используя крупномасштабное сопоставительное обучение, чтобы сопоставить префикс, близкий к последовательности достоверности, которая следует за ним, и вдали от двух типов отрицаний: (1) случайные последовательности из того же документа, что и префикс, и тематически препятствующие - похожие, но нерелевантные поколения; (2) последовательности, созданные из большой языковой модели, обусловленной префиксом, которые препятствуют повторению и галлюцинациям. Эксперименты с четырьмя различными языковыми моделями (параметры 345M-11B) и двумя областями показывают, что RankGen значительно превосходит алгоритмы декодирования, такие как ядро, top-k и типичная выборка, как по автоматическим метрикам (85,0 против 77,3 MAUVE), так и по человеческим оценкам с англоязычными писателями. (74,5% людей предпочитают выборке ядра). Анализ показывает, что результаты RankGen более актуальны для префикса и улучшают преемственность и согласованность по сравнению с базовыми показателями. Мы открываем исходный код нашей модели контрольных точек, кода и человеческих предпочтений с подробными пояснениями для будущих исследований.
2. Модель нейронного парного ранжирования для оценки удобочитаемости (arXiv)
Автор:Джастин Ли, Совмья Ваджала
Аннотация:Автоматическая оценка удобочитаемости (ARA), задача определения уровня чтения текста, традиционно рассматривается как проблема классификации в исследованиях НЛП. В этой статье мы предлагаем первый нейронный, попарный подход к ARA и сравниваем его с существующими методами классификации, регрессии и (не нейронного) ранжирования. Мы устанавливаем производительность нашей модели, проводя эксперименты с тремя английскими, одним французским и одним испанским наборами данных. Мы демонстрируем, что наш подход хорошо работает в сценариях одноязычного одноязычного/кросс-корпусного тестирования и обеспечивает нулевую точность межъязыкового ранжирования более 80 % как для французского, так и для испанского языков при обучении на данных английского языка. Кроме того, мы также выпускаем новый параллельный двуязычный набор данных для чтения на английском и французском языках. Насколько нам известно, в этой статье предлагается первая нейронная модель парного ранжирования для ARA и показаны первые результаты межъязыковой нулевой оценки ARA с помощью нейронных моделей.
3. Эффективный способ межрыночных рекомендаций с помощью гибридных моделей предварительного ранжирования и ранжирования (arXiv)
Автор:Ци Чжан, Цзыцзянь Ян, Илун Хуан, Цзярун Хэ, Лисян Ван
Аннотация. Задача межрыночных рекомендаций WSDM CUP 2022 заключается в поиске решений для улучшения отдельных систем рекомендаций на целевых рынках с ограниченными ресурсами за счет использования данных с аналогичных исходных рынков с высоким уровнем ресурсов. Наконец, наша команда OPDAI заняла первое место с результатом NDCG@10 0,6773 в таблице лидеров. Наше решение этой задачи будет подробно изложено в этой статье. Чтобы лучше преобразовать информацию с исходных рынков на целевые рынки, мы используем два этапа ранжирования. На этапе предварительного ранжирования мы используем различные методы или модели предварительного ранжирования для создания функций. После тщательного анализа и выбора функций мы тренируем LightGBM с 10-кратным пакетированием, чтобы получить окончательный рейтинг.
4.Об идентифицируемости смесей моделей ранжирования (arXiv)
Автор: Сяоминь Чжан, Сючэн Чжан, По-Лин Ло, Инъюй Лян
Аннотация: Смешанные модели ранжирования являются стандартными инструментами для задач ранжирования. Однако даже фундаментальный вопрос об идентифицируемости параметров не до конца понятен: остается открытым вопрос об идентифицируемости модели смеси с двумя компонентами Брэдли-Терри-Люса (БТЛ). В этой работе мы показываем, что популярные комбинации моделей ранжирования с двумя компонентами (Плакетт-Люс, полиномиальная логистическая модель с планками размера 3 или BTL) в общем случае идентифицируемы, т. из патологического подмножества нулевой меры. Мы предоставляем основу для проверки числа решений в общем семействе полиномиальных систем с использованием алгебраической геометрии и применяем ее к этим смесям моделей ранжирования. Структура может применяться более широко к другим моделям обучения и может представлять самостоятельный интерес.
5. Получение калиброванных вероятностей с помощью персонализированных моделей ранжирования (arXiv)
Автор:Вонбин Квеон, Сонку Кан, Хванджо Ю
Вывод:для персонализированных моделей ранжирования хорошо откалиброванная вероятность того, что элемент будет предпочтен пользователем, имеет большое практическое значение. В то время как существующая работа показывает многообещающие результаты в классификации изображений, вероятностная калибровка мало исследована для персонализированного ранжирования. В этой статье мы стремимся оценить калиброванную вероятность того, насколько вероятно, что пользователь предпочтет элемент. Мы исследуем различные параметрические распределения и предлагаем два метода параметрической калибровки, а именно гауссовую калибровку и гамма-калибровку. Каждый предлагаемый метод можно рассматривать как функцию постобработки, которая сопоставляет оценки ранжирования предварительно обученных моделей с хорошо откалиброванными вероятностями предпочтения, не влияя на эффективность рекомендаций. Мы также разрабатываем беспристрастную эмпирическую структуру минимизации риска, которая направляет методы калибровки для изучения истинной вероятности предпочтения на основе набора данных о взаимодействии пользователя с элементом. Обширные оценки с использованием различных моделей персонализированного ранжирования на реальных наборах данных показывают, что как предлагаемые методы калибровки, так и беспристрастная минимизация эмпирического риска значительно улучшают качество калибровки.
