- Факультет дистилляции с оптимальным транспортом(arXiv)
Автор:Су Лу, Хань-Цзя Е, Дэ-Чуан Чжань
Аннотация : Дистилляция знаний (KD) показала свою эффективность в улучшении классификатора учащихся при наличии подходящего учителя. Излияние разнообразных и многочисленных предварительно обученных моделей может предоставить богатые ресурсы для учителей для KD. Однако эти модели часто обучаются на разных задачах ученика, что требует от ученика точного выбора наиболее активного учителя и включения KD в разных пространствах меток. Эти ограничения раскрывают недостаточность стандартного KD и побуждают нас к изучению новой парадигмы, называемой дистилляцией преподавателей. Учитывая группу преподавателей (факультет), студенту необходимо выбрать наиболее подходящего преподавателя и выполнить повторное использование обобщенных знаний. Для этого предлагается связать задачу учителя и задачу ученика оптимальным транспортом. Основываясь на семантических отношениях между их пространствами меток, мы можем преодолеть разрыв в поддержке между выходными распределениями, минимизируя расстояния Синкхорна. Транспортные расходы также служат мерой адаптивности учителей, поэтому мы можем эффективно ранжировать учителей в соответствии с их родством. Эксперименты в различных условиях демонстрируют лаконичность и универсальность нашего метода.
2.OTExtSum: Извлекательное суммирование текста с помощью оптимального транспорта (arXiv)
Автор:Пегги Тан, Кун Ху, Руй Янь, Лей Чжан, Джунбинь Гао, Чжиюн Ван.
Аннотация . Цель извлечения резюме текста состоит в том, чтобы выбрать наиболее важные предложения из документа для формирования краткого, но информативного резюме. Хотя основанные на обучении методы достигли многообещающих результатов, они имеют ряд ограничений, таких как зависимость от дорогостоящего обучения и отсутствие интерпретируемости. Поэтому в этой статье мы предлагаем новый метод, не основанный на обучении, впервые сформулировав реферирование текста как задачу оптимального транспорта (OT), а именно Optimal TransportExtractive Summarizer (OTExtSum). Оптимальное извлечение предложений понимается как получение оптимальной сводки, которая минимизирует затраты на транспортировку данного документа в отношении их семантического распределения. Такая стоимость определяется расстоянием Вассерштейна и используется для измерения семантического охвата исходного документа сводкой. Комплексные эксперименты с четырьмя сложными и широко используемыми наборами данных — MultiNews, PubMed, BillSum и CNN/DM демонстрируют, что предлагаемый нами метод превосходит современные методы, не основанные на обучении, и несколько последних методов, основанных на обучении, с точки зрения эффективности. румяна метрика
3.Частично ослабленный оптимальный транспорт для рекомендации с шумоподавлением (arXiv)
Автор: Янчао Тан, Карл Ян Мембер, Сянюй Вэй, Цзыюэ Ву, Сяолинь Чжэн
Аннотация . Данные о взаимодействии, используемые рекомендательными системами (RS), неизбежно включают шумы, возникающие в результате ошибочных или исследовательских кликов, особенно при неявной обратной связи. Без надлежащего шумоподавления модели RS не могут эффективно отражать внутренние предпочтения пользователей и истинное взаимодействие между пользователями и элементами. Для устранения таких шумов существующие методы в основном полагаются на вспомогательные данные, которые не всегда доступны. В этой работе мы основываемся на оптимальном транспорте (OT) для глобального сопоставления пространства встраивания пользователя и пространства встраивания элемента, что позволяет как неглубоким, так и глубоким моделям RS различать внутренние и шумовые взаимодействия без контроля. В частности, мы сначала используем инфраструктуру OT с помощью расстояния Синкхорна для вычисления непрерывных оценок совпадения «многие ко многим пользовательским элементам». Затем мы ослабляем регуляризацию на расстоянии Синкхорна, чтобы получить решение в закрытой форме с уменьшенной временной сложностью. Наконец, чтобы учесть поведение отдельных пользователей для шумоподавления, мы разрабатываем частичную структуру OT для адаптивной перемаркировки взаимодействий пользователя с элементом с помощью персонализированного механизма порогового значения. Обширные эксперименты показывают, что наша структура может значительно повысить производительность существующих моделей RS.
4. Иерархический оптимальный транспорт для сравнения наборов данных гистопатологии (arXiv)
Автор: Анна Йетон, Рахул Дж. Кришнан, Ребекка Мелошик, Дэвид Альварес-Мелис, Грейс Хьюн
Аннотация: Недостаток помеченных гистопатологических данных ограничивает применимость методов глубокого обучения к недопрофилированным типам и меткам рака. Трансферное обучение позволяет исследователям преодолевать ограничения небольших наборов данных путем предварительного обучения моделей машинного обучения на больших наборах данных, аналогичных небольшому целевому набору данных. Однако сходство между наборами данных часто определяется эвристическим путем. В этой статье мы предлагаем принципиальное понятие расстояния между наборами гистопатологических данных, основанное на иерархическом обобщении оптимальных транспортных расстояний. Наш метод не требует обучения, не зависит от типа модели и сохраняет большую часть иерархической структуры в наборах данных гистопатологии, наложенных мозаикой. Мы применяем наш метод к окрашенным H&E слайдам из Атласа генома рака шести различных типов рака. Мы показываем, что наш метод превосходит базовое расстояние в задаче прогнозирования типа рака. Наши результаты также показывают, что наше оптимальное расстояние транспортировки предсказывает сложность переноса в опухоли по сравнению с нормальными условиями прогнозирования.
5. Преобразование функции самооптимального переноса (arXiv)
Автор:Даниэль Шалам, Саймон Корман
Аннотация. Преобразование функции Self-Optimal-Transport (SOT) предназначено для обновления набора функций экземпляра данных для облегчения последующего сопоставления или группировки связанных задач. Преобразованный набор кодирует богатое представление отношений высокого порядка между объектами экземпляра. Расстояния между преобразованными объектами отражают их прямое исходное сходство и их соглашение с третьей стороной относительно сходства с другими объектами в наборе. Конкретная задача дробного сопоставления минимальной стоимости и максимального потока, энтропийно-регуляризованная версия которой может быть аппроксимирована оптимизацией оптимального транспорта (ОТ), приводит к нашему трансдуктивному преобразованию, которое является эффективным, дифференцируемым, эквивариантным, не имеющим параметров и вероятностно интерпретируемым. Эмпирически трансформация очень эффективна и гибка в использовании, последовательно улучшая сети, в которые она вставлена, в различных задачах и схемах обучения. Мы демонстрируем его достоинства через проблему неконтролируемой кластеризации, а также его эффективность и широкую применимость для классификации с несколькими выстрелами, с современными результатами и крупномасштабной повторной идентификацией людей.
