- Доброкачественное переобучение в линейных классификаторах и дырявых сетях ReLU из условий KKT для максимизации маржи (arXiv)
Автор: Спенсер Фрей, Галь Варди, Питер Л. Бартлетт, Натан Сребро.
Аннотация: Линейные классификаторы и сети ReLU с утечками, обученные с помощью градиентного потока на логистических потерях, имеют неявный уклон в сторону решений, которые удовлетворяют условиям Каруша — Куна — Такера (ККТ) для максимизации маржи. В этой работе мы устанавливаем ряд настроек, в которых выполнение этих условий KKT подразумевает щадящую переобучение в линейных классификаторах и в двухслойных сетях ReLU с утечками: оценщики интерполируют зашумленные обучающие данные и одновременно хорошо обобщают тестовые данные. Настройки включают в себя варианты зашумленных гауссианов с условными классами, рассмотренные в предыдущей работе, а также новые настройки распределения, в которых ранее не наблюдалось доброкачественного переобучения. Ключевым компонентом нашего доказательства является наблюдение, что, когда обучающие данные почти ортогональны, как линейные классификаторы, так и сети ReLU с утечками, удовлетворяющие условиям KKT для своих соответствующих задач максимизации запаса, ведут себя как почти однородное среднее значение обучающих примеров.
2. Обобщение неконтролируемой трансляции новостей; сравнительное исследование максимальной предельной релевантности (MMR) и латентного семантического анализа (LSA) (arXiv)
Автор: Маджид Рамезани, Мохаммад-Салар Шахриари, Амир-Реза Фейзи-Дерахши, Мохаммад-Реза Фейзи-Дерахши.
Аннотация: Методы автоматического обобщения речи подразделяются на две группы: контролируемые и неконтролируемые методы. Контролируемые методы основаны на наборе функций, а неконтролируемые методы выполняют суммирование на основе набора правил. Скрытый семантический анализ (LSA) и максимальная предельная релевантность (MMR) считаются наиболее важными и известными неконтролируемыми методами автоматического суммирования речи. Это исследование было направлено на изучение эффективности двух вышеупомянутых неконтролируемых методов в расшифровке сводок персидских новостей. Результаты показывают, что при общем обобщении LSA превосходит MMR, а при обобщении на основе запросов MMR превосходит LSA при обобщении широковещательных новостей.
