Арне Стошек, руководитель отдела автономных систем
Алекс Найман, старший инженер по интеграции
Седрик Коко, старший инженер по восприятию
Лена Щербакова, инженер по глубокому обучению

Мы часто задаем вопрос: почему у Ваханы нет пилота?

Все просто: спрос и предложение. Мы стремимся предоставить систему, способную обеспечить более 1 миллиарда летных часов в год. Для этого потребуется более полумиллиона пилотов. Сегодня общее количество действующих пилотов коммерческих вертолетов в США составляет около 24 000, и каждому из них требуется 1 200 часов полетного времени (и несколько лет), чтобы получить сертификат пилота коммерческого авиалайнера. Даже при самых оптимистичных предположениях о наличии активных пилотов вертолетов для операций воздушного такси в соответствующих местах у нас будет менее 1% от необходимого количества пилотов. Самопилотирование - ключ к масштабируемости Vahana и аналогичных воздушных такси.

Для этого наша самопилотируемая система должна быть способна выполнять многие задачи, возложенные на командира воздушного судна, включая обнаружение и предотвращение опасностей вокруг нас. Учитывая, что мы работаем в городском воздушном пространстве с высокой плотностью движения (см. Примеры на рисунках 1, 2, 3), нам придется перемещаться вокруг наземной инфраструктуры и в воздушном пространстве с другими ваханами, дронами, самолетами, птицами и т. Д. Возможности такой системы включают:

  1. Убедитесь, что летательный аппарат способен анализировать, понимать окружающую среду и взаимодействовать с ней во время взлета, полета и посадки в качестве беспилотного летательного аппарата.
  2. Обеспечьте безопасность самолета во время взлета, полета и посадки, а также безопасность всех - и всего - рядом с транспортным средством и его пассажирами на любом этапе его эксплуатации.
  3. Обеспечьте безопасную работу в отношении предотвращения столкновений, безопасности воздушного пространства и земли, включая функцию обнаружения и предотвращения столкновений в полете.

В основе такой системы лежит широкий спектр датчиков и программного обеспечения, многие из которых в настоящее время разрабатываются для автомобильной промышленности. Однако есть несколько отличительных факторов, которые отличают бортовую систему от наземной. См. Рисунок 4 для высокоуровневого описания фаз полета Ваханы.

В отличие от автономных автомобилей, где большинство требований обусловлено наследием существующей транспортной системы, мы разрабатываем совершенно новую транспортную систему в среде, которая в настоящее время редко используется и ограничена системой, которая сильно отличается от наземной. Мы планируем сформировать совершенно новую форму городской мобильности, которая положительно повлияет на миллионы людей.

Одна из передовых технологий, которую мы создаем, - это способность нашего летательного аппарата обнаруживать и избегать препятствий, с которыми он может столкнуться, обычно называемую «распознавать и избегать», см. Рисунки 5 и 6.

Смысл и избегание можно разбить на следующие задачи:

  1. Обнаруживать препятствия (например, большую птицу, самолет или дрон)
  2. Классифицируйте типы препятствий
  3. Определите риски столкновения
  4. Найдите стратегию, чтобы избежать столкновения
  5. Измените собственную траекторию и выполните путь уклонения
  6. Вернуться к исходному пути

Когда препятствия приближаются со скоростью более 100 м / с (225 миль в час), эти задачи должны выполняться очень быстро. В этом случае у транспортного средства, оснащенного датчиком, который «видит» 500 м (1640 футов) впереди, будет менее 5 секунд до столкновения с таким препятствием, если не будет предпринято никаких действий по уклонению. И не забывайте: в воздухе уклонение от препятствий - это трехмерная задача. Это становится еще более сложным, когда Вахана встречает сразу несколько препятствий с разными характеристиками.

Представьте себе случай, когда одновременно сближаются дрон, птица и самолет. У каждого свой риск столкновения, кинематика, скорость и т. Д. Система распознавания и избегания принимает решение о маневре уклонения, но каждое из трех препятствий также может решить изменить курс. Это представляет собой увлекательную задачу по обнаружению и принятию решений для нашей системы. Он должен включать обнаружение и идентификацию препятствий, а также анализ риска столкновения. Кроме того, он должен выполнять этот анализ не один раз, а постоянно, поскольку препятствия изменяют курс по собственной воле. Кроме того, система должна учитывать специфические особенности Ваханы, такие как комфорт пассажиров, потребление энергии и ограничения по траектории полета.

Наши сенсоры должны точно видеть и понимать окружающую среду. Нам требуется трехмерное покрытие вокруг автомобиля, чтобы обеспечить ситуационную осведомленность, и нам нужно видеть препятствия на расстоянии примерно 2 км (примерно 1,2 мили). У нас не должно быть слепых зон вокруг нашего транспортного средства во время полета или на земле.

Мы приняли решение о резервной мультимодальной настройке датчиков, см. Рисунок 7:

  1. Камеры: рабочая лошадка почти всех автономных транспортных средств, камеры, по сути, являются «пассивными» датчиками для измерения входящего света в массиве 2D-датчиков.
  2. Лидар: «активный» датчик со световыми волнами, излучаемыми лазерными лучами, который обеспечивает трехмерное изображение с высоким разрешением.
  3. Радар: еще один «активный» датчик с радиоволнами, позволяющий обнаруживать препятствия и оценивать расстояние.

Чтобы проиллюстрировать потребность в покрытии 3D-сенсором, рассмотрим один из многих оперативных угловых случаев: стрела строительного крана поворачивается от вертипорта, когда Вахана приземляется, но затем оказывается выше Ваханы, прежде чем снова взлететь. Наша система должна уметь распознавать и адаптировать свою миссию к такой быстро меняющейся среде.

Еще одним важным компонентом успешных систем умения и избегания является сбор данных. Для разработки и проверки алгоритмов нам требуется большой набор обучающих данных, включая все препятствия, которых мы хотим избежать. Получить 100 000 релевантных изображений канадских гусей или конкретной модели Cessna непросто! Чтобы быть полезными, изображения должны быть с соответствующих точек обзора нашего самолета (например, в лоб) и включать дополнительные метаданные, такие как кинематические свойства (скорость, размер, направление и т. Д.). Чтобы охватить все случаи, нам нужны данные об объекте для разных фонов, погоды и условий освещения. Цель состоит в том, чтобы научить систему правильно выполнять задачи «распознавать и избегать» во всех возможных условиях полета.

Мы решили собрать собственные данные, используя дроны и гексакоптеры в качестве суррогатных транспортных средств. Мы создали систематическую и повторяемую настройку для сбора данных и проверки алгоритма с помощью беспилотного летательного аппарата, имитирующего траекторию полета Ваханы, и беспилотного летательного аппарата, имитирующего препятствия, с которыми может столкнуться Вахана, см. Рисунки 8, 9, 10 и 11.

Сбор данных - ничто без аннотации данных, поэтому в дополнение к созданию нашей собственной среды сбора данных нам также пришлось создать решение для конкретной предметной области, чтобы аннотировать сотни тысяч изображений для получения соответствующей информации, такой как тип препятствий, земля / небо, и т. д., см. рисунки 12, 13 и 14.

Правильная аннотация данных важна, потому что точность обнаружения алгоритмов, разработанных с использованием аннотированных данных, сильно коррелирует с точностью самих аннотированных данных.

Таким образом, нашей команде пришлось повысить качество данных аннотаций, разработав собственные инструменты и тщательно итеративно. См. Рисунок 15 для примера такого инструмента.

Важнейшей операцией в системах распознавания и избегания является восприятие: способность идентифицировать и характеризовать объекты в окружающей среде на основе необработанных входных данных датчиков. Основные требования к восприятию Ваханы:

  1. Он должен быть устойчивым к различным условиям окружающей среды (например, освещению, фону, переднему плану, помехам).
  2. Он должен быть устойчивым к различным условиям объекта (например, точкам обзора, изменчивости геометрии и внешнего вида объекта).
  3. Он должен быть очень быстрым при обнаружении объекта (цель - в реальном времени).
  4. Он должен соответствовать бортовому решению с ограниченными ресурсами.

Рисунок 16 иллюстрирует особенно сложную задачу восприятия, когда наша система должна обнаруживать дрон на загроможденном фоне, сложном горизонте, сочетании искусственных и естественных объектов, а также объектов с очень похожим внешним видом.

Поскольку данные, производимые системой технического зрения, очень сложны, было разработано множество методов, упрощающих их обработку. Стандартный подход к обработке изображения состоит в том, чтобы сначала найти в изображении простые «особенности», а затем использовать эти функции для извлечения полезной информации. Например, можно идентифицировать краевые элементы на изображении, а расположение и распределение краев можно использовать для определения того, что изображение показывает конкретный объект.

В «традиционном» компьютерном зрении характеристики объектов выбираются вручную и анализируются с использованием хорошо настроенных методов, ориентированных на конкретное приложение. По этой причине традиционные методы компьютерного зрения редко поддаются обобщению и обычно не обладают устойчивостью к вариациям, обнаруживаемым в реальных ситуациях, таким как переменные условия освещения, вращение и масштабирование объекта, а также внутриклассовые вариации (например, один и тот же самолет окрашен в другой цвет). . С другой стороны, глубокое обучение - это особый метод искусственного интеллекта, который, как было показано, устойчив не только к реальным вариациям, но и к разным предметным областям.

Глубокое обучение использует искусственные нейронные сети в качестве основного компонента для обработки информации. Нейронные сети состоят из взаимосвязанных групп узлов, каждый из которых обрабатывает информацию на основе определенной функции. Глубокие нейронные сети (DNN) относятся к нейронным сетям с глубокими и сложными слоями таких узлов. Вместо того, чтобы использовать настраиваемые вручную функции в традиционных методах машинного зрения, DNN обучаются с использованием больших объемов данных, способных надежно выполнять задачи классификации.

Для нашего приложения мы разработали специальные классы сверточных нейронных сетей для глубокого обучения. Обучение таких сетей выполняется на высокопроизводительных компьютерах с несколькими GPU. Это оптимизированное оборудование способно выполнять обучение с глубоким обучением на больших наборах данных.

Мы обучаем сеть, которую затем переносим на бортовую вычислительную платформу. Конкретная задача состоит в том, чтобы оптимизировать нашу развернутую сеть глубокого обучения для обеспечения высокой точности обнаружения при одновременном обеспечении вывода в реальном времени, учитывая очень большие изображения, генерируемые нашими камерами высокого разрешения. Размеры наших изображений значительно больше, чем в настоящее время используются в автономных автомобилях. Выходные данные системы восприятия включают в себя класс обнаруженного объекта (например, дрон, птица, самолет), положение объекта, траекторию объекта и расстояние от объекта до датчика (и, следовательно, от нашего самолета), см. Рисунок 17. .

В приведенном ниже примере мы указали, что система обнаруживает несколько птиц на расстоянии на фоне открытого неба с плотной облачностью. Он должен был обнаруживать несколько мелких объектов параллельно перед большой фоновой дисперсией с облаками, см. Рисунки 18 и 19.

Недавно мы поделились своими первыми результатами на конференции NVIDIA GTC. Безусловно, самая полезная обратная связь была: Я даже не знал, что то, что вы показали, возможно! Мы также более подробно обсудили самолеты воздушного такси в их подкасте AI с ведущим Майклом Коуплендом. Послушайте здесь и здесь.

В настоящее время команда сосредоточена на интеграции функций распознавания и избегания с полномасштабным аппаратом Vahana для демонстрационных полетов, параллельно с продолжающейся разработкой алгоритмов глубокого обучения и систем сбора данных.

Мы всегда ищем лучших инженеров, которые присоединятся к нашей команде, поделятся своим опытом в таких областях, как робототехника, глубокое обучение, восприятие, принятие решений, и которые разделяют наше стремление сделать Vahana и Urban Air Mobility реальностью! Ознакомьтесь с нашими текущими объявлениями о вакансиях здесь.