- GaitMPL: распознавание походки с прогрессивным обучением с расширенной памятью (arXiv)
Автор: Хуаньчжан Доу, Пэнъи Чжан, Юхань Чжао, Линь Дун, Цзюнь Цинь, Си Ли.
Аннотация: Распознавание походки направлено на идентификацию пешеходов на большом расстоянии по их биометрическим характеристикам походки. Это по своей сути сложно из-за различных ковариат и свойств силуэтов (бестекстурных и бесцветных), что приводит к двум видам попарных жестких выборок: один и тот же пешеход может иметь разные силуэты (внутриклассовое разнообразие), а разные пешеходы могут иметь разные силуэты. похожие силуэты (межклассовое сходство). В этой работе мы предлагаем решить сложную проблему с образцом с помощью сети прогрессивного обучения с расширенной памятью (GaitMPL), включая модуль прогрессивного обучения с динамическим взвешиванием (DRPL) и глобальный банк памяти, выровненный по структуре (GSAM). В частности, DRPL снижает сложность обучения сложных образцов за счет прогрессивного обучения от простого к сложному. GSAM дополнительно дополняет DRPL с помощью структурно-ориентированного механизма памяти, который поддерживает и моделирует распределение функций каждого идентификатора. Эксперименты с двумя часто используемыми наборами данных, CASIA-B и OU-MVLP, демонстрируют эффективность GaitMPL. В CASIA-B мы достигаем самых современных показателей, т. е. 88,0 % в самых сложных условиях (одежда) и 93,3 % в средних условиях, что превосходит другие методы как минимум на 3,8 % и 1,4 %. , соответственно
2. Orca: прогрессивное обучение на основе сложных следов объяснения GPT-4 (arXiv)
Автор: Субхабрата Мукерджи, Ариндам Митра, Ганеш Джавахар, Сахадж Агарвал, Хамид Паланги, Ахмед Авадаллах.
Аннотация: недавние исследования были сосредоточены на расширении возможностей небольших моделей посредством имитационного обучения с использованием результатов, полученных с помощью больших базовых моделей (LFM). На качество этих моделей влияет ряд проблем, начиная от ограниченного количества имитационных сигналов от неглубоких выходных сигналов LFM; мелкомасштабные однородные обучающие данные; и, в первую очередь, отсутствие строгой оценки, что приводит к переоценке возможностей небольшой модели, поскольку они склонны учиться имитировать стиль, но не процесс рассуждений LFM. Чтобы решить эти проблемы, мы разрабатываем Orca (мы работаем с нашей командой юристов, чтобы публично опубликовать разницу в весе модели в соответствии с политикой выпуска LLaMA, которая будет опубликована на https://aka.ms/orca-lm) модель с 13 миллиардами параметров, которая учится имитировать процесс рассуждений LFM. Orca учится на богатых сигналах от GPT-4, включая трассировки объяснений; пошаговые мыслительные процессы; и другие сложные инструкции, руководствуясь помощью учителя из ChatGPT. Чтобы продвигать это прогрессивное обучение, мы используем крупномасштабные и разнообразные имитационные данные с разумной выборкой и отбором. Orca превосходит обычные современные модели с настройкой инструкций, такие как Vicuna-13B, более чем на 100% в сложных тестах рассуждений с нулевым выстрелом, таких как Big-Bench Hard (BBH), и на 42% в AGIEval. Кроме того, Orca достигает паритета с ChatGPT в тесте BBH и демонстрирует конкурентоспособную производительность (разрыв в 4 балла с оптимизированным системным сообщением) на профессиональных и академических экзаменах, таких как SAT, LSAT, GRE и GMAT, как в нулевых настройках без CoT; при отставании от ГПТ-4. Наше исследование показывает, что обучение на основе пошаговых объяснений, созданных людьми или более продвинутыми моделями ИИ, является многообещающим направлением для улучшения возможностей и навыков моделей.
