Начало работы с обучением Zero Shot
- OhMG: Zero-shot Open-vocabulary Human Motion Generation(arXiv)
Автор: Цзюньфань Линь, Цзяньлун Чан, Линбо Лю, Гуаньбинь Ли, Лян Линь, Ци Тянь, Чан-вэнь Чен
Аннотация:Создание движения в соответствии с текстом в настоящее время привлекает все большее внимание. Тем не менее, генерация движений человека с открытым словарем по-прежнему остается бесконтактной и испытывает недостаток разнообразных размеченных данных. Хорошей новостью является то, что недавние исследования крупных мультимодельных фундаментальных моделей (например, CLIP) продемонстрировали превосходную производительность при выравнивании нескольких изображений и текста с нулевым кадром, что значительно снижает потребность в маркировке данных вручную. В этой статье мы используем преимущества CLIP для генерации трехмерных движений человека с открытым словарем в нулевой манере. В частности, наша модель состоит из двух этапов: text2pose и pose2motion. Для text2pose, чтобы решить сложность оптимизации под непосредственным контролем CLIP, мы предлагаем превратить универсальную модель CLIP в более тонкую, но более конкретную модель для выравнивания 3D-поз и текстов с помощью новой стратегии дистилляции конвейера. Оптимизируя с помощью дистиллированной трехмерной модели позы-текста, нам удается эффективно и действенно конкретизировать знания о позе текста в CLIP в генератор text2pose. Что касается pose2motion, черпая вдохновение из расширенной языковой модели, мы предварительно обучаем модель движения на основе преобразователя, что компенсирует отсутствие динамики движения CLIP. После этого, сформулировав сгенерированные позы на этапе text2pose в качестве подсказок, генератор движения может генерировать движения, относящиеся к позам, контролируемым и гибким образом. Наш метод проверен на передовых базовых уровнях и получил значительные улучшения. Код будет опубликован здесь
2.Улучшение многоязычного перевода Zero-Shot с помощью универсальных представлений и перекрестных сопоставлений(arXiv)
Выдержка. Многоязычный нейронный машинный перевод по принципу «многие ко многим» может выполнять перевод между языковыми парами, невидимыми во время обучения, т. е. выполнять перевод с нулевым выстрелом. Улучшение нулевого преобразования требует, чтобы модель изучила универсальные представления и отношения перекрестного отображения, чтобы перенести знания, полученные в контролируемых направлениях, в нулевые направления. В этой работе мы предлагаем расстояние движителя состояния на основе оптимальной теории для моделирования разницы представлений, выводимых кодировщиком. Затем мы устраняем разрыв между семантико-эквивалентными представлениями разных языков на уровне токенов, минимизируя предлагаемое расстояние для изучения универсальных представлений. Кроме того, мы предлагаем схему обучения на основе соглашений, которая может помочь модели делать согласованные прогнозы на основе семантически эквивалентных предложений, чтобы изучить универсальные отношения перекрестного отображения для всех направлений перевода. Экспериментальные результаты на различных многоязычных наборах данных показывают, что наш метод может постоянно улучшаться по сравнению с базовой системой и другими методами контрастирования. Анализ доказывает, что наш метод может лучше выравнивать семантическое пространство и улучшать согласованность прогнозов.
3.COCO-DR: Борьба со сдвигами распределения в плотном поиске с нулевым выстрелом с помощью контрастного и надежного обучения распределению(arXiv)
Автор:Юэ Ю, Чэньян Сюн, Сы Сун, Чао Чжан, Арнольд Овервейк
Аннотация: мы представляем новый метод плотного поиска с нулевым выстрелом (ZeroDR), COCO-DR, для улучшения способности к обобщению плотного поиска путем борьбы со сдвигами распределения между исходными обучающими задачами и целевыми сценариями. Чтобы смягчить влияние различий в документах, COCO-DR продолжает предварительное обучение языковой модели на целевых корпусах, чтобы адаптировать модель к целевым дистрибутивам с помощью непрерывного обучения COtrastive. Чтобы подготовиться к невидимым целевым запросам, COCO-DR использует неявную устойчивую к распределению оптимизацию (iDRO) для повторного взвешивания выборок из разных кластеров исходных запросов для повышения устойчивости модели к редким запросам во время тонкой настройки. COCO-DR обеспечивает превосходную среднюю производительность на BEIR, эталонном тесте поиска с нулевым выстрелом. В масштабе BERT Base COCO-DR Base превосходит другие модели ZeroDR с размером в 60 раз больше. В крупном масштабе BERT COCO-DR Large превосходит гигантскую модель встраивания GPT-3, которая имеет в 500 раз больше параметров. Наш анализ показывает корреляцию между эффективностью COCO-DR в борьбе со сдвигами распределения и повышением точности нулевого выстрела. Наш код и модель можно найти по адресу \url{https://github.com/OpenMatch/COCO-DR}.
