Пандемия 2020 года привела к тому, что все крупные конференции по искусственному интеллекту стали виртуальными, что сделало последние научные дискуссии более доступными для мирового сообщества. Здесь мы собрали список из 10 примечательных статей по ИИ с ведущих конференций и публикаций этого года, охватывающих новые исследования в области компьютерного зрения, обработки естественного языка, обучения с подкреплением, рекомендательных систем, робототехники и многого другого. Для каждой статьи мы предоставляем краткое резюме и ссылку на оригинальный доклад на конференции или пояснительное видео для быстрого понимания основных моментов исследования.
1. Неконтролируемое изучение вероятно симметричных деформируемых 3D-объектов из изображений в дикой природе
Награда: лучшая статья CVPR 2020
Авторы: Шанчжэ Ву, Кристиан Рупрехт, Андреа Ведальди (Оксфордский университет)
В этой статье авторы представляют метод, который изучает категории трехмерных деформируемых объектов из необработанных, одноракурсных и слабо симметричных изображений категорий объектов, которые можно обучать без какого-либо ручного контроля. Предлагаемая модель работает на основе сети автоэнкодера, которая разделяет входную сцену на информацию об альбедо, освещенности, точке обзора и глубине. Он создает конвейер фотогеометрического автокодирования, который обучается с использованием потерь при реконструкции без каких-либо трехмерных наземных истин, множественных представлений или предшествующих моделей формы. Результаты моделирования показывают, что предложенный метод может точно восстановить трехмерную форму человеческих лиц, кошачьих морд и автомобилей с мелкими деталями и превосходит другие неконтролируемые методы и даже модель DepthNet, которая использует контроль над соответствиями двухмерных изображений. [Бумажная ссылка]
Посмотреть видео доклада конференции:
2. Помимо точности: поведенческое тестирование моделей НЛП с контрольным списком
Награда: лучшая статья ACL 2020
Авторы: Марко Тулио Рибейро, Тонгшуан Ву, Карлос Гестрин, Самир Сингх (Microsoft Research, Вашингтонский университет, Калифорнийский университет в Ирвине)
Использование выдерживаемой точности в качестве параметра производительности часто приводит к переоценке. Хотя современные методы оценки очень полезны, их недостаточно. Авторы представляют Контрольный список, который представляет собой независимый от задач подход к оценке моделей НЛП и включает в себя набор различных тестов производительности, основанных на лингвистических способностях. Они также предлагают систему программного обеспечения, которая может быстро генерировать многочисленные меры тестирования. Результаты показывают, что хотя предыдущие модели обладают чрезвычайно эффективными способностями, они не могут пройти многие лингвистические тесты. С помощью Контрольного списка исследователи обнаружили новые проблемы и требующие принятия мер ошибки в различных моделях. [Бумажная ссылка]
Смотрите пояснительное видео к статье:
3. Эффективный выбор функций из апостериорных значений гауссовского процесса
Награда: выдающаяся статья ICML 2020
Авторы: Джеймс Т. Уилсон, Вячеслав Боровицкий, Александр Теренин, Петр Мостовский и Марк Питер Дейзенрот (Имперский колледж Лондона, Санкт-Петербургский государственный университет, Санкт-Петербургское отделение Математического института им. Лондон)
Гауссовские процессы имеют большое значение при моделировании реальных задач. В этой статье предлагается простая и универсальная методология быстрой апостериорной выборки для гауссовского процесса. Используя правило Матерона, авторы разлагают апостериорную оценку как сумму априорной и обновленной. Эта декомпозиция поддается масштабируемой выборке путем отделения априорных данных от данных. Эта выборка легко сочетается с разреженными приближениями и позволяет системе также быть масштабируемой. [Бумажная ссылка]
Посмотреть видео доклада конференции:
4. RAFT: рекуррентные преобразования полей всех пар для оптического потока
Награда: лучшая статья ECCV 2020
Авторы: Закари Тид, Цзя Дэн (Принстонский университет)
В оптическом потоке есть два основных препятствия: скорость обработки и нехватка вычислительных ресурсов. Авторы предлагают архитектуру RAFT, состоящую из трех модулей: два модуля кодировщика, которые генерируют 4-мерный объем, используя ширину и высоту двух кадров, и модуль оператора обновления, который включает в себя GRU и обновляет информацию об оптическом потоке. Архитектура RAFT отличается от других современных моделей четырьмя способами, включая архитектуру, обучение, повторное использование весов и алгоритм оптимизации. Результаты моделирования показывают, что RAFT достигает оценки ошибки F1 5,1% на KITTI. [Бумажная ссылка]
Смотрите пояснительное видео к статье:
5. Изучение скрытых представлений для влияния на многоагентное взаимодействие
Награда: лучшая статья CoRL 2020
Авторы: Энни Се, Дилан П. Лоузи, Райан Толсма, Челси Финн, Дорса Садиг (Стэнфордский университет, Технологический институт Вирджинии)
Моделирование взаимодействия между роботами — сложная задача. В литературе основное внимание уделяется моделированию каждого низкоуровневого действия робота. Авторы предлагают основанную на обучении с подкреплением основу для прогнозирования латентного представления эго-агента. Кодировщик обучается на предыдущих взаимодействиях, который оценивает следующую стратегию. Декодер использует эту стратегию и предсказывает следующее взаимодействие. Затем эго-агент изучает политику, привыкшую к предсказанной стратегии. Влияющее поведение эго-агента достигается за счет максимизации долгосрочных вознаграждений во взаимодействиях. Результаты моделирования показывают, что этот метод превосходит другие методы. [Бумажная ссылка]
Посмотреть видео доклада конференции:
6. Языковые модели малоэффективны
Награда: лучшая статья NeurIPS 2020
Авторы: Том Браун, Бенджамин Манн, Ник Райдер, Мелани Суббиа, Джаред Каплан, Прафулла Дхаривал, Арвинд Нилакантан, Пранав Шьям, Гириш Састри, Аманда Аскелл, Сандини Агарвал, Ариэль Герберт-Восс, Гретхен Крюгер, Том Хениган, Ревон Чайлд, Адитья Рамеш, Дэниел М. Зиглер, Джеффри Ву, Клеменс Винтер, Кристофер Хессе, Марк Чен, Эрик Сиглер, Матеуш Литвин, Скотт Грей, Бенджамин Чесс, Джек Кларк, Кристофер Бернер, Сэм МакКэндлиш, Алек Рэдфорд, Илья Суцкевер, Дарио Амодеи (OpenAI)
Нетривиальные языковые тенденции начинают проявляться при масштабировании модели до 100 миллиардов параметров. Исследователи из OpenAI предлагают GPT-3, модель авторегрессивного языка со 175 миллиардами параметров. Отмечается, что по мере увеличения масштаба моделей производительность, не зависящая от задачи, и производительность с небольшим количеством выстрелов значительно улучшаются. GPT-3 гораздо более универсален и имеет возможность создавать макеты веб-страниц, переводить сложный юридический текст на простой английский язык или выполнять наоборот, набирать математические уравнения с обычного английского языка и генерировать правильно структурированные различные типы визуальных графиков. основе простых английских подсказок. [Бумажная ссылка]
7. Обучение на основе предпочтений для оптимизации походки экзоскелета
Награда: лучшая статья ICRA 2020
Авторы: Такер, Меган; Новоселлер, Эллен; Канн, Клаудия; Суй, Янан; Юэ, Исун; Бердик, Джоэл; Эймс, Аарон (Калифорнийский технологический институт и Университет Цинхуа)
В этой статье представлена структура обучения на основе предпочтений для персонализированной оптимизации походки экзоскелета. Предлагаемая работа берет свое начало в походке двуногого компаса. В отличие от других методов, которые оптимизируют различные численные цели, такие как механическая стоимость транспорта, предлагаемый метод пытается учиться на предпочтениях пользователя, таких как комфорт. Для реализации обучения на основе предпочтений авторы представляют новый алгоритм под названием COSPAR. Этот алгоритм побуждает пользователя выбирать парные предпочтения между испытаниями. Алгоритм COSPAR также применяется к экзоскелету нижней части тела для оптимизации характеристик траектории ходьбы человека и демонстрирует свою эффективность. [Бумажная ссылка]
Посмотреть видео доклада конференции:
8. Прогрессивное многоуровневое извлечение (PLE): новая модель многозадачного обучения (MTL) для персонализированных рекомендаций
Награда: лучшая статья RecSys 2020
Авторы: Hongyan Tang; Цзюньнин Лю; Мин Чжао; Сюйдун Гонг (Tencent PCG)
В системах многозадачного обучения (MTL) производительность одной задачи обычно достигается за счет снижения производительности другой задачи. Это известно как явление качелей. Авторы предлагают прогрессивное извлечение уровней (PLE), которое имеет новую архитектуру совместного использования. PLE имеет возможность явно различать отдельные компоненты задачи и общие компоненты. Это достигается за счет включения многоуровневого управления воротами. Постепенно PLE извлекает и разделяет семантические знания, используя механизм прогрессивной маршрутизации. Затем предложенная модель применяется к задачам со сложной и нормальной корреляцией. [Бумажная ссылка]
Посмотреть видео доклада конференции:
9. На пути к человеческому чат-боту с открытым доменом
Авторы: Даниэль Адивардана, Минх-Тханг Луонг, Дэвид Р. Со, Джейми Холл, Ноа Фидель, Ромал Топпилан, Зи Ян, Апурв Кулшрешта, Гаурав Немаде, Ифэн Лу, Куок В. Ле (Google)
Исследовательская группа Google представляет Meena, параметр 2,5 млрд, многооборотный, человекоподобный чат-бот с открытым доменом. Мина полностью обучена разговорным данным, извлеченным из социальных сетей. Это модель seq2seq, обученная с использованием метода отзыва в первую очередь с основной целью минимизировать недоумение следующего сгенерированного токена. Авторы также представляют новую оценочную метрику — среднее значение разумности и специфичности (SSA) — для инкапсуляции основных характеристик человеческого многооборотного разговора. Результаты показывают, что Meena превосходит существующие чат-боты на 23% по абсолютному SSA и приближается к производительности человека. [Бумажная ссылка]
Посмотрите видео с исследовательским докладом ниже:
10. Нейронный оператор Фурье для параметрических дифференциальных уравнений в частных производных.
Авторы: Зонджи Ли, Никола Ковачки, Камьяр Азиззаденешели, Буригеде Лю, Кошик Бхаттачарья, Эндрю Стюарт, Анима Анандкумар (Калифорнийский технологический институт и Университет Пердью)
Уравнения в частных производных (УЧП) могут описать все, от движения планет до тектоники плит, но решить их чрезвычайно сложно. В этой статье авторы представляют метод, который эффективно решает численные уравнения в частных производных, создавая большой потенциал для ускорения многих научных приложений. Они предлагают новый нейронный оператор, параметризируя интегральное ядро непосредственно в пространстве Фурье. Архитектура предлагаемого метода включает в себя слой Фурье, который является инвариантным к дискретизации и способен изучать и оценивать функции, дискретизированные случайным образом. Этот метод демонстрирует современную производительность по сравнению с существующими методологиями нейронных сетей и до трех порядков быстрее по сравнению с традиционными решателями PDE. [Бумажная ссылка]
Посмотрите пояснительное видео ниже:
Посмотрите нашу коллекцию, чтобы узнать о более заметных докладах об исследованиях ИИ!
Crossminds.ai — это персонализированная видеоплатформа для проведения технических исследований, индексированная с исчерпывающим графом знаний. Здесь вы можете узнавать об исследованиях и отраслевых новостях, соответствующих вашим интересам, расширять свою базу знаний с помощью интерактивных заметок и делиться своими идеями с единомышленниками по всему миру.
Посмотрите другие видеоролики о последних технологических исследованиях по областям знаний:
