27 марта 2019 года Aptiv Autonomous Mobility (ранее nuTonomy) опубликовала крупномасштабный набор данных, который называется nuScenes, чтобы помочь сообществу автономных водителей на этапах разработки и оценки. Набор данных nuScenes - один из самых многообещающих наборов данных, который облегчает разработку новых алгоритмов автономного вождения для обнаружения 3D-объектов и отслеживания 3D-объектов.

Следовательно, команда nuScenes организовала Испытание на обнаружение 3D-объектов на последней конференции CVPR. Эта задача была направлена ​​на то, чтобы мотивировать разработчиков в области автономного вождения сравнить свой алгоритм обнаружения 3D-объектов с набором данных nuScenes.

После успешного выполнения задачи Обнаружение трехмерных объектов недавно была организована еще одна задача Отслеживание трехмерных объектов. Он состоится во время следующей конференции NIPS.

В то же время команда YonoHub создала пакет nuScenes, который можно использовать внутри платформы YonoHub. Пакет имеет форму блоков, которые инкапсулируют определенные функции. Пакет используется в основном приложении YonoHub, YonoArc. Кроме того, набор данных nuScenes доступен в виде извлеченной версии на этой облачной платформе, вам не нужно загружать набор данных с таким огромным размером. Вы можете бесплатно приобрести набор данных в YonoStore, а также все блоки пакета nuScenes.

Соответственно, пакет nuScenes стал новым методом сравнения вашего алгоритма с набором данных nuScenes для предстоящего конкурса nuScenes Tracking Challenge. Просто перетащив несколько блоков, вы сможете взаимодействовать с набором данных.

В дополнение к блокам, Yonohub предоставляет спонсорские кредиты (до 1000 долларов США) для работы над nuScenes 3D Tracking Challenge. Подайте заявку, используя эту форму, чтобы получить спонсорские кредиты прямо на ваш счет.

Обсудим, как начать работу с пакетом!

Как это работает?

В качестве первого шага вам необходимо получить набор данных nuScenes, а также блоки nuScenes для разработки YonoArc. YonoStore - это место, где вы можете приобрести набор данных, блок или даже среду. Помимо nuScenes, существуют разные наборы данных, например Kitti Dataset, Comma.ai и т. Д.

После покупки активов вы найдете набор данных nuScenes в своей папке YonoStoreDataset, однако блоки nuScenes в ваших блоках YonoArc.

Пакет nuScenes обогащает различные виды блоков. Последнее обновление пакета состоит из 10 блоков, перечисленных ниже,

  • Dataset Игрок : используется для потоковой передачи всех данных образца для всех видов датчиков, а также метаданных набора данных nuScenes.
  • Примеры аннотаций к оценочным блокам: используется для преобразования формата пробных аннотаций в оценочные блоки.
  • Преобразователь кадра ящиков: используется для преобразования опорного кадра ящиков в другой.
  • Конвертер облака точек лидара: используется для преобразования опорного кадра облака точек лидара из кадра лидара nuScenes в кадр лидара Китти или наоборот.
  • Предварительная обработка окон оценки: используется для предварительной обработки окон оценки перед процессом оценки.
  • Приложение прогнозов: используется для добавления / пакетирования всех прогнозируемых полей в виде файла JSON для отправки.
  • Загрузчик прогнозов: используется для загрузки результатов, сохраненных в виде файла JSON, для процесса оценки / визуализации.
  • Контрольный показатель слежения: используется для выполнения контрольной оценки слежения за предсказанными блоками по сравнению с наземными блоками истинности из набора данных.
  • Ящики в маркеры: используется для преобразования ящиков в формат маркеров для правильной визуализации в Рвизе (покупка блока Рвиз в YonoStore).
  • Рисование трехмерных рамок: используется для рисования рамок над одним из изображений, выводимых камерой.

Примечание: Для того, чтобы узнать больше о настройках блока, функциональность, а также портов ввода / вывода, проверьте описание, связанное с элементом в YonoStore или через вкладку Справка в настройках блока в YonoArc.

После прочтения описания краткого каждого блока в пакете, мы должны показать, как использовать его в YonoArc. Мы можем проверить следующие серии обучающих видео, которые очень полезны для понимания Разметки цикла в YonoArc. Для более детального описания относительно следующих руководств, пожалуйста, прочитайте соответствующий учебник в Документах.

Начало работы с nuScenes

В этом уроке мы узнаем, как взаимодействовать с nuScenes набора данных через блок Dataset Player. Потоковый необработанные изображения одного из датчиков камер набора данных и визуализировать его, используя панель в YonoArc.

Визуализируйте nuScenes Dataset

В этом уроке, мы имеем дело с различными методами визуализации, которые предлагаются через пакет nuScenes в YonoArc. В конце этого урока вы узнаете, как,

  • Нарисуйте 3D-рамки наземной истины на необработанных изображениях, снятых датчиками камеры.
  • Визуализируйте облако точек радара / лидара в Rviz с различным количеством разверток.
  • Преобразуйте 3D-рамки наземной истины в маркеры, чтобы визуализировать их в Rviz на вершине облака точек лидара.

Прогнозировать и сохранить результаты

В этом уроке, вы сделать первые шаги в отношении участия в nuScenes Tracking Challenge. В конце этого урока вы узнаете, как,

  • Загрузите результаты обнаружения одного из поддерживаемых алгоритмов NuScenes Challenge, например, MEGVII.
  • Используйте предварительно реализованный алгоритм отслеживания, например AB3DMOT. Вы можете разработать свой собственный алгоритм в виде блока YonoArc, используя это руководство.
  • Добавьте свои результаты после выполнения этапа предварительной обработки в виде файла JSON с тем же форматом NuScenes Tracking Challenge.

Примечание: Вы можете приобрести алгоритм отслеживания AB3DMOT от YonoStore.

Benchmark Ваш Tracking Algorithm

В этом последнем учебнике, мы строим оценки / Разметка петлю для отвода. В конце этого урока вы узнаете, как,

  • Загрузите собственные результаты отслеживания из предыдущего руководства.
  • Сравните свой алгоритм с набором данных nuScenes.

Примечание: Вы можете найти все предыдущие трубопроводы YonoArc в этом хранилище.

Вывод

Наконец, вы готовы принять участие в nuScenes Tracking вызов с сопротивлением простой в использовании и интерфейс перетаскивания. Вам не нужно загружать этот огромный массив данных размера на локальном компьютере, так же свободно приобрести набор данных, и вы получите его в кратчайшие сроки. Все развитие может быть сделано на YonoHub, используя различные возможности машины.

Это легко попробовать Yonohub. Новые пользователи получают $ 50 бесплатных кредитов. Для nuScenes вызовов, Yonohub предоставляет спонсорские кредиты (до $ 1000) для работы по nuScenes 3D Tracking Challenge. Наносить с помощью эту форму, чтобы получить спонсируемые кредиты непосредственно в вашем аккаунте. Подпишитесь на Yonohub!