Хорошо это или плохо, но теперь ИИ может понять, что вы делаете, даже не «видя» вас. Лаборатория компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) представила модель нейронной сети, которая может обнаруживать действия человека через стены или в очень темных местах.
Хотя автоматизация процесса распознавания действий по визуальным данным в течение некоторого времени была в центре внимания исследований компьютерного зрения, предыдущие подходы, основанные на камерах, во многом как человеческие глаза, могли воспринимать только видимый свет и были в значительной степени ограничены окклюзиями. Исследователи MIT CSAIL преодолели эти проблемы, используя радиосигналы на частотах Wi-Fi, которые могут проникать через окклюзии.
Их модель ИИ «RF-Action» представляет собой сквозную глубокую нейронную сеть, которая распознает действия человека по беспроводным сигналам. Модель использует радиочастотные (RF) сигналы в качестве входных данных, генерирует трехмерные человеческие «скелеты» в качестве промежуточного представления и может отслеживать и распознавать действия и взаимодействия нескольких людей. Шаг скелета позволяет модели учиться не только из наборов данных на основе RF, но и из существующих наборов данных на основе видения.
Исследователи говорят, что RF-Action - первая модель, использующая радиосигналы для распознавания действий на основе скелетов. «Существует множество потенциальных приложений, касающихся понимания человеческого поведения и умных домов. Например, наблюдение за ненормальным поведением пожилых людей, таким как падение дома, наблюдение за тем, правильно ли пациенты принимают лекарства или дистанционное управление устройствами умного дома с помощью действий », - говорит соавтор статьи Тяньхун Ли.
Хотя новое исследование, вероятно, еще больше воспламенит тех, кто опасается технологий наблюдения и безопасности на базе искусственного интеллекта, Ли считает, что эта модель действительно может рассеять такие опасения. В отличие от систем на основе видео, вход RF-Action - это только радиосигналы, которые не включают личные идентификационные данные, такие как данные о лице, внешнем виде или одежде.
Приведенные выше изображения демонстрируют работу RF-Action в двух сценариях. Слева два человека обмениваются рукопожатием, один виден через дверной проем, а другой закрыт стеной. Справа один человек звонит по телефону, а другой, едва различимый в темноте, собирается бросить в нее какой-то предмет. Модель RF-Action правильно распознает оба взаимодействия изображений.
Из-за отсутствия существующих наборов данных по обнаружению действий с радиочастотными сигналами и соответствующими каркасами исследователям пришлось создать свои собственные. У них было 30 добровольцев, которые взаимодействовали в 10 различных средах - офисах, холлах, коридорах, коридорах, аудиториях и т. Д. - и использовали радиоустройство для сбора радиочастотных сигналов и систему камер с 10 различными точками обзора для сбора видеокадров. Последний 25-часовой набор данных также включает два сквозных сценария - один для обучения и один для тестирования.
В экспериментах модель RF-Action превзошла как модель SOTA HCN для распознавания действий на основе скелета, так и модель SOTA Aryokee для распознавания действий на основе RF в видимых сценариях и сценариях сквозь стены. Учитывая достигнутую замечательную точность, эта новая модель может вскоре найти применение в современных условиях умного дома.
Однако предстоит еще много работы. Пока что модель была протестирована только на одной стене и в диапазоне обнаружения от 1 до 11 метров (от 3 до 36 футов). «РЧ-сигнал будет иметь гораздо большее затухание с несколькими стенками, поэтому может быть трудно получить достаточное соотношение сигнал / шум со слишком большим количеством стен», - говорит Ли.
Статья Как сделать невидимое видимым: распознавание действий через стены и окклюзии находится на arXiv.
Автор: Юань Юань | Редактор: Майкл Саразен
Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.
Нужен всесторонний обзор прошлого, настоящего и будущего современных исследований в области искусственного интеллекта? Отчет Тенденции развития технологий искусственного интеллекта вышел!
Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.
