Обнаружение перегруженных транспортных средств по видео с помощью машинного обучения
В Transcend Engineering мы верим, что данные датчиков и искусственный интеллект, добросовестно применяемые для лучшего понимания нашего физического мира, могут решить проблемы огромной важности для людей и нашей планеты. Мы используем разнообразный опыт работы с датчиками, вычислительными методами и пониманием физических систем для решения уникальных задач.
Одной из задач, для решения которой мы применили наш характерный подход науки о физических данных, является выявление ненормально загруженных транспортных средств с помощью простого видео наблюдения за тем, как они пересекают переносной полицейский полицейский. Обнаружение необычных нагрузок может быть полезно для многих приложений безопасности и управления автомагистралями. Наша работа продемонстрировала возможность высокопроизводительного досмотра перегруженных транспортных средств с безопасного расстояния с помощью видео и переносного лежачего полицейского. Эта возможность может значительно увеличить пропускную способность досмотров в пунктах въезда, автоматически направляя интересующие транспортные средства для более тщательного осмотра, в то же время позволяя большинству транспортных средств свободно проезжать.
Данные
Наш подход использует машинное обучение, но основан на физическом понимании того, что общепринятая практика проектирования подвесок транспортных средств оптимизирует субъективное ощущение комфорта пассажиром. Автомобильные конструкторы стремятся удерживать поступательное и вращательное ускорение тела пассажира по трем осям в комфортных пределах, а также поддерживать общий наклон, крен и рыскание автомобиля в комфортных пределах. Визуализируйте связанные с этим компромиссы, представив, как большое медленное колебание шага способствует плавной езде, но также требует чрезмерных движений шеи и глаз, чтобы не отрывать глаз от дороги, что может вызвать усталость. Таким образом, цель проектирования состоит в том, чтобы поддерживать малые колебательные движения системы и быстро демпфировать их при нормальных нагрузках, скоростях и характеристиках дорожного полотна. Полученная подвеска представляет собой составную систему «масса-пружина-привод». И поэтому избыточная масса (то есть груз) в системе будет вызывать необычные колебательные движения, когда подвеска возмущена, например лежачим полицейским. То, что это движение можно количественно оценить по видео для выявления аномальных нагрузок, было гипотезой, лежащей в основе нашего подхода.
Проверка этой гипотезы потребовала от нас независимо установить, что:
- перегруженные транспортные средства демонстрируют аномалии в колебательном движении, которые постоянно отличают их от нормально загруженных транспортных средств,
- мы могли бы автоматизировать извлечение количественных показателей колебательного поведения из видео и
- мы могли бы использовать наши первые два открытия, чтобы автоматизировать идентификацию перегруженных транспортных средств.
Ключом к расследованию было наличие надежной эталонной меры колебаний транспортного средства. Для этого мы использовали данные акселерометра и гироскопа, полученные от двух iPod Touch, прикрепленных к противоположным концам транспортного средства и совмещенных с центрами колес (т. е. с осями).
Чтобы вызвать колебательное движение подвески, мы установили переносной лежачий полицейский и несколько камер, с которых мы сняли видеонаблюдение за «транспортными средствами возможности», проезжающими через лежачего полицейского. Транспортные средства возможности представляли собой большое количество бесчисленных стилей транспортных средств, используемых в течение дня, таких как сотрудники, добирающиеся на работу и с работы, и транспортные средства для доставки. Мы также собрали видео и данные бортовых датчиков для девяти уникальных транспортных средств с регулируемой нагрузкой. Мы загрузили эти автомобили мешками с песком в их багажниках общим весом 0, 200 и 400 фунтов и проехали каждый из них по кочкам несколько раз на каждой из трех разных скоростей.
Наша команда обработала данные бортового акселерометра, используя методы цифровой фильтрации и численного интегрирования, чтобы выделить функции первого порядка. Во-первых, мы разрезаем многочасовое непрерывное видео на короткие фрагменты отдельных проездов транспортных средств. Мы обработали эти клипы, чтобы определить ключевые особенности автомобиля, такие как центры осей и ниши каждой колесной арки, и отследить их движение до, во время и после столкновения с лежачим полицейским. На правой панели рисунка 1 ниже показан пример одной из извлеченных нами физических характеристик. По временному ряду этих характеристик мы количественно определили фактическую скорость транспортного средства, доминирующие частоты передних и задних колебаний, а также максимальную амплитуду и характерное время затухания каждого колебательного сигнала из данных временного ряда. Объединив данные спереди и сзади, мы также количественно определили колебания тангажа автомобиля, используя как бортовые датчики, так и видеонаблюдение. Мы представили эти параметрические описания колебательных движений нашей модели машинного обучения.
Случайный лес
Как следует из названия, деревья решений представляют собой прогностические модели со структурой перевернутого дерева. Дерево решений, как показано на рисунке 2 ниже, содержит узлы решений (узлы с двумя или более ветвями) и конечные узлы (представляющие классификацию или решение). Узлы решений разделяют выборки в конкретной ветви на основе определенного порога одной переменной. Верхний узел решения в дереве для классификации, называемый корневым узлом, соответствует решению, обеспечивающему наибольшее различие между классами. Для создания каждого решения алгоритм разбивает образцы по всем доступным переменным, а затем выбирает разделение, в результате которого получаются наиболее однородные подузлы. Мы применили широко используемый критерий разделения, известный как индекс Джини. Во время обучения деревья решений постепенно развиваются по мере того, как обучающие данные разбиваются на все более мелкие подмножества, как правило, до тех пор, пока не будет достигнут определенный размер или предел сложности.
Каждое дерево решений в случайном лесу строится из случайного подмножества признаков, выбранных независимо из одного и того же набора для всех деревьев в лесу. Это создает неотъемлемую вариацию среди деревьев и корректирует тенденцию единственного дерева решений к переобучению данных обучения, где «переобучение» описывает модель с неспособностью обобщать данные обучения на невидимые тестовые данные.
Наши выходные данные случайного леса состояли либо из двоичной, либо из троичной системы классификации. Два случайных леса с бинарной классификацией были обучены и протестированы исключительно на транспортных средствах массой 0 и 400 фунтов. Два случайных леса с троичной классификацией были обучены и протестированы на всех трех классах полезной нагрузки транспортных средств: 0 фунтов, 200 фунтов и 400 фунтов. Каждый из четырех случайных лесов содержал 150 деревьев решений и реализовывал самозагрузку во время обучения. Обученный случайный лес выполнил успешную бинарную классификацию транспортных средств как незагруженных (избыточная нагрузка 0 фунтов) или загруженных (избыточная нагрузка 400 фунтов) примерно в 88% случаев. Включение третьего, 200-фунтового класса нагрузки для выполнения троичной классификации снизило точность подхода до 68%, предполагая, что между разрешением собранных данных и изменчивостью подвески среди протестированных автомобилей меньшая нагрузка была недостаточной для дают надежно обнаруживаемый ответ.
Выбор функции
Методы выбора признаков подчеркивают, как извлеченные признаки способствовали предсказанию моделью того, перевозит ли транспортное средство чрезмерную нагрузку. Алгоритм случайного леса предоставляет простой метод ранжирования функций, позволяющий отображать метрику важности функций в реализациях Random Forest от scikit-learn. Этот процесс позволил нам определить интересные идеи, выделив, какие функции внесли наибольший вклад в наши прогнозы загрузки. Изучение относительной важности характеристик показало, что характерное время затухания колебаний заднего крыла и максимальное вертикальное смещение заднего крыла больше всего способствовали различению классов нагрузки.
Будущая работа
Хотя выбросы в данных часто отбрасываются вместо «хороших» данных, мы смогли использовать наши аномальные точки данных, чтобы выявить интересную связь. Две из девяти уникальных машин управления имели неисправные/поврежденные подвески, которые мы обнаружили позже, после анализа данных. Эти два автомобиля, как оказалось, были исключениями в нашем анализе. Хотя мы и не собирались выявлять сломанные подвески, мы наткнулись на потенциальное дополнительное потенциальное применение нашей работы. Будущая задача, которую мы собираемся решить, — это отличить поведение поврежденной или измененной подвески от аномалий реакции автомобиля, связанных с весом.
Эта статья написана в соавторстве с Andréa Elhajj
