- Захват темы с помощью моделирования маскированного языка (arXiv)
Автор: Сяобо Го, Вэйчэн Ма, Соруш Восуги.
Аннотация: Дифференциальное формулирование проблем может привести к расхождению мировоззрений по важным вопросам. Это особенно верно в тех областях, где представленная информация может быть доступна широкой аудитории, например, в традиционных и социальных сетях. Масштабируемое и надежное измерение такого дифференциального кадрирования является важным первым шагом в их решении. В этой работе, основываясь на интуитивных предположениях о том, что фреймирование влияет на тон и выбор слов в письменной речи, мы предлагаем основу для моделирования дифференциального фрейминга проблем посредством предсказания маскированных токенов с помощью крупномасштабных точно настроенных языковых моделей (LM). В частности, мы исследуем три ключевых фактора для нашей структуры: 1) методы генерации подсказок для прогнозирования замаскированных токенов; 2) методы нормирования выхода доработанных ЛМ; 3) устойчивость к выбору предварительно обученных LM, используемых для тонкой настройки. С помощью экспериментов с набором данных статей из традиционных СМИ, охватывающих пять различных и политически поляризованных тем, мы показываем, что наша структура может с высокой надежностью фиксировать дифференциальное оформление этих тем.
2. Многопрофильные модели маскированного мира для визуальных роботизированных манипуляций (arXiv)
Автор: Ёнгё Со, Джунсу Ким, Стивен Джеймс, Кимин Ли, Джинву Шин, Питер Аббил.
Аннотация: Исследования и приложения для визуальных роботизированных манипуляций часто используют несколько камер или видов, чтобы лучше воспринимать мир. Как еще мы можем использовать богатство данных с несколькими представлениями? В этой статье мы исследуем, как научиться хорошим представлениям данных с несколькими представлениями и использовать их для визуальных роботизированных манипуляций. В частности, мы обучаем многоракурсный маскированный автоэнкодер, который восстанавливает пиксели случайно замаскированных точек обзора, а затем изучает модель мира, работающую с представлениями из автоэнкодера. Мы демонстрируем эффективность нашего метода в ряде сценариев, включая управление несколькими представлениями и управление одним представлением с дополнительными камерами для обучения представлению. Мы также показываем, что многоракурсный маскированный автоэнкодер, обученный с несколькими рандомизированными точками обзора, позволяет обучать политику с сильной рандомизацией точек обзора и переносить политику для решения задач реального робота без калибровки камеры и процедуры адаптации. Демонстрационные видеоролики в реальных экспериментах и исходный код доступны на сайте проекта: https://sites.google.com/view/mv-mwm
