«Это энергетическое поле, созданное всеми живыми существами, оно окружает нас и проникает в нас, оно связывает галактику воедино». Вот как мастер-джедай Оби-Ван Кеноби объясняет «Силу» Люку Скайуокеру. Невидимые, но могущественные силы природы также представляют интерес для современных исследователей машинного обучения, где понимание энергии, сил и физики имеет решающее значение для разработки реальных приложений ИИ.

Сила действительно везде. В физике сила — это любое взаимодействие, которое, если ему не противостоять, изменит движение объекта. Людям не нужно дважды думать, чтобы понять физику большинства взаимодействий человека с объектом, и мы также можем, например, просто смотреть видео и имитировать действия. Но это не так естественно для машин.

В новом исследовании исследователи из Facebook Artificial Intelligence Research, Вашингтонского университета, UIUC и Университета Карнеги-Меллона используют физический симулятор, чтобы научиться предсказывать физические силы на видео, где люди взаимодействуют с объектами.

Исследователи говорят, что нынешнему распознаванию или геометрическим подходам не хватает физического представления действия, и предлагают свой метод для улучшения физического понимания взаимодействия человека и машины: невозможно) получить непосредственный надзор за этой задачей». Супервизия предоставляет важные сигналы для маркировки обучающих данных, но получение достоверных меток для сил — проблема, которая остается нерешенной. Есть ли альтернативы надзору? Команда заметила, что полное геометрическое понимание можно восстановить, моделируя воздействие физических сил на объекты, и использовала физический симулятор для наблюдения.

Цель симуляции — имитировать движения, наблюдаемые в видеороликах взаимодействия. Исследователи вводят видео, показывающие, как человек взаимодействует с объектом, а модель делает вывод о движении объекта, точках контакта и силах в качестве выходных данных. Чтобы узнать, как эти взаимодействия изменяют динамику объекта, исследователи применяют силы в физическом моделировании, где модель учится оптимизировать, сводя к минимуму ошибку проецирования объекта на кадр камеры и точно предсказывая точки контакта.

Геометрия объекта может меняться во время взаимодействия — например, когда рука скручивает тряпку для мытья посуды; в то время как точки контакта руки с объектом также могут быть сложными для интерпретации, например, когда пальцы играют на гитарных струнах. Чтобы сделать работу более удобной, команда ограничила схему исследования и предположила, что взаимодействия происходили с известным твердым объектом и включали только пятипалую руку, применяющую силу.

Чтобы обучить систему, исследователи собрали набор видеозаписей манипулирования объектами, на которых различные участники захватывают и перемещают восемь обычных предметов: кувшин, бутылку с отбеливателем, сковороду, дрель, молоток, игрушечный самолетик, банку с супом и бутылку из-под горчицы. Они также добавили аннотации ключевых точек объекта и точек контакта на каждом кадре, а также трехмерные точки контакта каждого взаимодействия.

Команда говорит, что подход показывает значимые силы из видео и их влияние на предсказанные точки контакта, что позволяет точно имитировать движения в физическом моделировании. Еще один ценный вывод из исследования заключается в том, что точка контакта и прогноз силы тесно связаны, и совместная оптимизация повышает производительность обеих задач.

Исследователи считают, что это исследование является значительным шагом вперед в объединении действия и восприятия в общей структуре, и что предсказание модели физических сил также может помочь ускорить процедуры обучения роботов-имитаторов.

Газета Используй силу, Люк! Обучение прогнозированию физических сил путем моделирования эффектов находится на arXiv.

Журналист: Фанъюй Цай | Редактор: Майкл Саразен

Хотите внести свой вклад в Синхронизированный обзор? Новая колонка SyncedПоделитесь моими исследованиямиприглашает ученых поделиться своими достижениями в исследованиях с энтузиастами искусственного интеллекта со всего мира.

Мы знаем, что вы не хотите пропустить ни одной новости.Подпишитесь на нашу популярную Synced Global AI Weekly , чтобы получать еженедельные обновления AI.

Нужен всесторонний обзор прошлого, настоящего и будущего современных исследований в области ИИ? Отчет о тенденциях развития технологий искусственного интеллектавышел в свет!

Отчет об адаптивности искусственного интеллекта публичной компании из списка Fortune Global 500 за 2018 годвышел в свет!
Приобретите отчет в формате Kindle на Amazon.
Подать заявку на участие в партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.