В последнее время появилось много исследований, связанных с обнаружением объектов с помощью облака точек LiDAR. Входные данные облака точек LiDAR имеют преимущество в виде точной информации о глубине. С этого момента я расскажу об обнаружении облака точек LiDAR с помощью глубокого обучения.
Сеть обнаружения 3D-объектов с несколькими проекциями для автономного вождения
Компьютерное зрение и распознавание образов (CVPR), 2017 г.
В этой статье предлагается Multi-view 3D Network (MV3D), структура сенсорного слияния, которая принимает как облако точек LIDAR, так и изображения RGB в качестве входных данных и прогнозирует ориентированные трехмерные ограничивающие рамки. Сеть состоит из двух подсетей: одна для создания предложений по трехмерным объектам, а другая для объединения многовидовых функций. Сеть предложений эффективно генерирует трехмерные блоки кандидатов из трехмерного облака точек с высоты птичьего полета. Схема глубокого слияния объединяет региональные особенности из нескольких видов и обеспечивает взаимодействие между промежуточными слоями разных путей.
Форсаж: сквозное трехмерное обнаружение, отслеживание и прогнозирование движения в реальном времени с помощью единой сверточной сети
Компьютерное зрение и распознавание образов (CVPR), 2018 г.
В этой статье предлагается новая глубокая нейронная сеть, которая может совместно рассуждать о трехмерном обнаружении, отслеживании и прогнозировании движения с учетом данных, полученных с помощью трехмерного датчика. В этой статье для получения временной информации используется трехмерная свертка.
PIXOR: Обнаружение 3D-объектов в реальном времени из облаков точек
Компьютерное зрение и распознавание образов (CVPR), 2018 г.
В этой статье рассматривается проблема обнаружения трехмерных объектов в реальном времени из облаков точек в контексте автономного вождения. В этой статье трехмерные данные используются более эффективно, представляя сцену из обзора с высоты птичьего полета (BEV), и предлагается PIXOR, простой одноступенчатый детектор, который выводит ориентированные оценки трехмерных объектов, декодированные на основе прогнозов нейронной сети по пикселям.
HDNET: использование карт HD для обнаружения 3D-объектов
2-я конференция по обучению роботов (CoRL), 2018 г.
В этой статье показано, что карты высокой четкости (HD) обеспечивают сильную априорность, которая может повысить производительность и надежность современных детекторов 3D-объектов.
Deep Continuous Fusion для мультисенсорного обнаружения 3D-объектов
Европейская конференция по компьютерному зрению (ECCV), 2018 г.
В этой статье предлагается новый детектор 3D-объектов, который может использовать как LiDAR, так и камеры для очень точной локализации. Для достижения этой цели они разрабатывают сквозную обучаемую архитектуру, которая использует непрерывные свертки для объединения изображений и карт функций LiDAR с разными уровнями разрешения. Предлагаемый слой непрерывного слияния кодирует как дискретные особенности изображения, так и непрерывную геометрическую информацию. Это позволяет нам разработать новый, надежный и эффективный детектор трехмерных объектов с непрерывным обучением на основе нескольких датчиков.
Заключение
Существует так много исследований обнаружения объектов с помощью набора данных облака точек LiDAR. В этом посте показаны только аннотации каждой модели. В будущем я покажу детали каждой модели для лучшего понимания.
Ссылка
Чен, Сяочжи и др. «Многоканальная сеть обнаружения трехмерных объектов для автономного вождения». IEEE CVPR. Vol. 1. №2. 2017 г.
Ло, Вэньцзе, Бинь Ян и Ракель Уртасун. «Форсаж: сквозное трехмерное обнаружение, отслеживание и прогнозирование движения в реальном времени с помощью единой сверточной сети». Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2018.
Ян, Бин, Вэньцзе Луо и Ракель Уртасун. «PIXOR: обнаружение трехмерных объектов в реальном времени из облаков точек». Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2018.
Б. Ян, М. Лян и Р. Уртасун: HDNET: использование карт HD для обнаружения трехмерных объектов. 2-я конференция по обучению роботов (CoRL) 2018.
Лян, Минг и др. «Deep Continuous Fusion для мультисенсорного обнаружения 3D-объектов». Труды Европейской конференции по компьютерному зрению (ECCV). 2018.
