Эволюция входных данных на основе изображений для машинного обучения

Вначале были картинки. Простые, статичные изображения всевозможных сцен и объектов: Собаки. Машины. Дома. Люди. Подключенные к таким системам, как Глубокий сон, они обучали классификаторы, которые затем генерировали собственные галлюцинации на основе этих входных данных. Некоторые результаты были предсказуемо забавными. Но некоторые из них также были невероятно реалистичными, и их было трудно отличить от исходных данных реального мира, из которых они были получены.

Далее пошло предварительно записанное видео. На этом этапе машинного обучения на основе изображений (далее именуемого «ML») эти видеопотоки часто использовались для обучения систем отделению объектов от окружающей среды или распознаванию различных состояний окружающей среды на основе множества наблюдаемых факторов. Они сформировали одни из первых наборов данных, которые будут использоваться для обучения систем машинного обучения, используемых для автономных транспортных средств (также известных как «AV»). Но, и это важно отметить, они не использовались в режиме реального времени во время работы AV.

Однако теперь приложения, которые полагаются на системы машинного обучения, обученные изображениям, значительно выросли. Эти новые приложения имеют низкую задержку и работают в режиме реального времени. Они охватывают целый ряд отраслей и вариантов использования, от самоуправляемых автомобилей до роботов цепочки поставок.

Машинное обучение на основе изображений в реальном времени опирается на надежные входные данные датчиков

Работа этих приложений в режиме реального времени представляет собой серьезную проблему, которая должна надлежащим образом управляться сенсорными системами, которые их подают: данные, которые они получают, должны быть точными, поскольку они обрабатываются и анализируются в режиме реального времени для определения немедленных и последующих действий. действия приложения.

Датчики, как мы знаем, могут выйти из строя по нескольким причинам во время развертывания:

  • Периодические сбои связи (например, нестабильное USB-соединение)
  • Внешние препятствия (например, дорожная пыль, закрывающая объектив камеры)
  • Незаметные или непоследовательные сдвиги в калибровке датчика (например, датчик с ненадежным креплением)
  • Неправильно настроенные датчики (например, камера, которая не работает должным образом в обычных условиях дневного света)

Что еще хуже, датчики часто бесшумно выходят из строя. Они по-прежнему излучают поток данных, и система машинного обучения предполагает, что это означает, что датчики работают на 100% правильно. Однако, если произойдет какой-либо из вышеперечисленных сценариев, они будут отправлять аномальные данные в систему машинного обучения. Это может привести к повреждению наборов данных, что приведет к немедленным ошибкам или комбинированным ошибкам, которые со временем увеличиваются.

Влияние сбоев бесшумных датчиков на системы машинного обучения: пример

Рассмотрим следующий сценарий:

  • Система: новое автономное такси, предназначенное для работы в городских условиях.
  • Задача: распознавать, когда автономное такси находится слишком близко к бордюру во время движения.
  • Ключевой параметр: расстояния менее 1,2 м представляют собой небезопасные условия из-за наличия велосипедных дорожек и велосипедистов в городских условиях.
  • Входные данные: данные GPS; кодировщики колес для измерения пройденного пути; Датчики LiDAR и датчики HDR CMOS для захвата геометрии сцены
  • Проблема: тихая ошибка калибровки датчика LiDAR из-за ослабленного крепления датчика; внешняя калибровка смещается на 3 см по двум осям при поступательном движении АВ; возвращается в почти калиброванное состояние в состоянии покоя. Беспилотный летательный аппарат, управляемый во время дождя, приводит к закупорке датчиками CMOS водой.
  • Результат: необнаруженные аномальные данные, которые становятся частью обучающей выборки, заставляют AV работать в пределах 0,7 м от бордюра, что на 0,5 м меньше.

Обеспечение надежных и точных входных данных датчиков для машинного обучения

Некоторые современные представления о сбоях датчиков в системах машинного обучения предполагают, что ошибки сами по себе являются действительным входом для обучения. Это правда, до некоторой степени. Проблема, однако, заключается в том, что система должна быть в состоянии распознать, что датчик выходит из строя, и должным образом классифицировать этот вход как таковой. Это легче сделать в контролируемых обстоятельствах. В реальном мире полагаться на эти процессы может стать более рискованным предложением.

Таким образом, передовой практикой остается обеспечение максимально точной и надежной работы датчиков. Достижение этого требует усилий. Это включает в себя:

  • Захват и анализ статистически значимых подмножеств журналов датчиков для выявления и правильной классификации распространенных состояний отказа.
  • Визуальная оценка датчиков внешних помех после сеансов при обнаружении сбоев
  • Подтверждение калибровки датчика и частая повторная калибровка датчиков
  • Тестирование датчиков с несколькими конфигурациями, а затем сбор и анализ журналов датчиков для выявления операционных недостатков перед определением оптимальной конфигурации.

Это не малый объем работы. Для этого требуется анализ данных, опыт работы с датчиками, опыт калибровки и большое количество инженерного времени. Но, как и в случае с любой системой, управляемой данными, это вопрос мусора на входе и выходе. Инвестиции в правильную работу датчиков окупаются, когда наборы данных дают ожидаемые результаты, а агент на основе машинного обучения может успешно работать в реальном мире.

Конечно, мы можем облегчить это бремя. Tangram Vision автоматизирует управление датчиками, обеспечивая обнаружение и эффективное устранение скрытых сбоев, а также максимальное время безотказной работы с оптимальной производительностью.