Конференция 2021 года по компьютерному зрению и распознаванию образов (CVPR) собрала множество компаний, работающих над беспилотными автомобилями. Я сосредоточился на анализе общедоступных наборов данных Lyft, Waymo, Argoverse и Toyota Research Institute. Я расскажу о своем видении беспилотных автомобилей, как это показано в CVPR: (1) анализ наборов данных и жизнеспособность включенных модальностей для полноценной автономной системы и (2) разбивка того, как можно использовать беспилотные автомобили. через состязательные атаки.

Я сосредоточился на просмотре семинаров и статей, связанных с беспилотными автомобилями и нападениями на беспилотные автомобили. Ниже приведены семинары и документы, которые я использовал из CVPR:

Семинары
Автономное вождение CVPR 2021: восприятие, прогнозирование и планирование

  • Питер Ондруска, доктор философии в Оксфорде, Lyft, уровень 5
  • Чарльз Ци, научный сотрудник Уэймо, доктор философии в Стэнфорде

CVPR 2021 Семинар по автономному вождению

  • Алекс Кендалл, генеральный директор Wayve (Лондон)
  • Зои Янг, Waymo Open Dataset
  • Джеймс Хейс, Argoverse
  • Бо Ли, Иллинойсский университет в Урбана-Шампейн
  • Адриан Гайдон, Исследовательский институт Toyota, руководитель отдела исследований в области машинного обучения
  • Андрей Карпати, старший директор Tesla по искусственному интеллекту

Статьи
Дж. Ван, А. Лю, З. Инь, С. Лю, С. Тан и X. Лю, «Атака с подавлением двойного внимания: создание враждебного камуфляжа в физическом мире», в Протоколах конференции IEEE / CVF по компьютерам. Зрение и распознавание образов, 2021, стр. 8565–8574.

CVPR 2021 собрал множество компаний, работающих над беспилотными автомобилями. К ним относятся (1) доминирующие компании, такие как Lyft, Waymo, Nvidia и Tesla; (2) такие стартапы, как Waabi, Aurora, Inverted AI и Wayve; и (3) исследователи из таких университетов, как Стэнфорд, Корнелл и Калифорнийский университет в Беркли.

Общие термины:
беспилотный автомобиль (SDV)
беспилотный автомобиль (SDC)
автономный автомобиль (AV)
адаптивный круиз-контроль (ACC)
автоматический аварийный режим торможение (AEB)
предотвращение неправильного нажатия педали (PMM)

Общая картина внедрения SDC заключается в использовании машинного обучения для применения коэффициента сжатия приблизительно 100000 к данным о состоянии транспортного средства (т. Е. Созданным со скоростью около 0,5 ГБ / с) для команд торможения и рулевого управления (то есть вывода со скоростью около 5 КБ / с).

Наборы данных

Следующие компании из CVPR предоставили общественности наборы данных: Lyft (L5Kit), Waymo (Motion Dataset), Argoverse и Toyota Research Institute (Dense Depth для автономного вождения). L5Kit от Lyft - это самый большой набор данных, содержащий 1000 часов данных. Наборы данных Waymo и Toyota Research Institute связаны по разнообразию, поскольку оба содержат данные о поездках из шести городов.

Ни в одном из наборов данных нет разнообразия погодных / дорожных условий и количества городов, чтобы можно было создать надежную систему уровня 5 (т. Е. Полную автономию). В лучшем случае эти наборы данных допускают вождение уровня 2 (то есть частичную автоматизацию) с сомнительной возможностью обобщения на невидимые города.

Для сравнения, все наборы данных содержат данные карты HD. Как личное замечание, использование картографических данных для беспилотных автомобилей способствует тому, что SDC запоминают, как вести себя в определенных условиях, вместо того, чтобы изучать полное решение того, как водить машину.

Хотя они не публиковали никаких наборов данных, подход Tesla к решению проблемы автономного вождения использует меньше датчиков (т. Е. Меньшую стоимость) и является более универсальным. Андрей Карпати выступил в качестве старшего директора по искусственному интеллекту в Tesla, сосредоточив внимание на системе автопилота Tesla только для зрения. Karpathy объяснил, почему радарные датчики дешевы, но все же имеют некоторые недостатки: (1) радар может видеть случайные объекты из-за крышек люков, (2) радар плохо отслеживает объекты, пересекающие боковые стороны, и (3) использование радара требует объединения функций с обзором . Например, радар потеряет из виду следующую машину, поскольку следующая машина резко тормозит. В ответ на мой вопрос об использовании радара для определения скорости автомобиля, который идет двумя автомобилями впереди, путем отражения радара под первым последующим автомобилем (то есть полезно для предупреждения внезапного замедления движения на двух машинах впереди), Карпати объяснил, что существует бесконечное датчики различной стоимости для улучшения сбора данных для SDC. У нас есть доказательство вождения человека, что зрение имеет всю необходимую и достаточную информацию для того, чтобы диктовать вождение.

Несмотря на трудности наборов данных для их предполагаемого использования при разработке программного обеспечения для автономного вождения, наборы данных по-прежнему являются жизнеспособными ресурсами для создания состязательных атак с целью обмана SDC.

Состязательные атаки

Я резюмирую состязательные атаки для SDC, представленные Бо Ли и Ван и др.

Бо Ли, Университет Иллинойса в Урбане-Шампейне
Бо Ли представил на семинаре CVPR 2021 по автономному вождению о разработке надежных парадигм машинного обучения для реальных приложений с акцентом на SDC. По состоянию на 8 апреля 2021 года ее лаборатория проинформировала 32 компании об уязвимостях антивирусного ПО, на 20 июня 2021 года было получено 11 ответов. Состязательные атаки происходят в (1) моделировании (например, изменение параметров ускорения для ACC) и (2) реальных мир (например, создание реалистичных сцен трафика для атаки алгоритмов сегментации облака точек).

Атака подавления двойного внимания: создание враждебной
маскировки в физическом мире
Wang et al. используйте атаку Dual Attention Suppression (DAS), чтобы создать маскировку, которая отвлекает внимание моделей глубокого обучения к нецелевым регионам. Соответствующий вклад в камуфляжи по сравнению с современными решениями: (1) камуфляжи по-прежнему актуальны в контексте и (2) камуфляжи не очевидны.

Глубокие нейронные сети восприимчивы к цифровым атакам, основанным на шумах, из-за незаметных возмущений. Физические атаки сложнее из-за необходимости изменить реальный мир. Ограничения существующих работ включают (1) возмущения, относящиеся к конкретным моделям и (2) возмущения, которые неестественны и легко идентифицируются людьми. См. Пример Гудфеллоу и др.

Структура DAS может быть перенесена за счет подавления шаблонов внимания, общих для разных моделей, посредством отвлечения внимания в нецелевых регионах. Отвлечение происходит за счет изменения камуфляжа на основе анализа связного графика внимания. Фреймворк обеспечивает визуальную естественность с помощью исправления исходного содержимого, релевантного контексту. Сильные края пятна важны, потому что люди уделяют больше внимания форме объектов.

Независимо от того, представлены ли нейроны на людях или в моделях машинного обучения, нейроны одинаково активируются на одних и тех же типах объектов. Карта внимания сети показывает, какие области изображения активируются для данной метки объекта (например, автомобиль, панда, телевизор). Для данного объекта карта внимания представляет степень, в которой пиксель способствует этому предсказанию.

Связный граф - это граф, у которого есть путь между любой парой узлов в графе. На карте внимания соседние пиксели со значениями выше порогового значения представляют связанную область. Чтобы отвлечь внимание модели от правильного предсказания метки объекта, функция потерь (1) уменьшит связность путем разделения связанных графов и (2) уменьшит значения узлов.

Функция потерь инициализируется патчем исходного содержимого. Наряду с уменьшением связности карты внимания функция потерь сохраняет края в патче и сглаживает изображение.