Расшифровка этого интервью была сокращена и слегка отредактирована для ясности.
Вы являетесь менеджером по операциям с данными в нашем подразделении высокоавтоматизированного вождения в HERE. Чем вы занимаетесь?
Когда я впервые начал работать с HERE, я был сосредоточен на работе с данными из транспортных средств [HERE True] и на том, чтобы сделать их полезными для остальной части организации. Два года назад мы сосредоточились на сценарии высокоавтоматизированного вождения. Я позабочусь о том, чтобы данные, с которыми я работал тогда, были полезны для остальной части организации, особенно для машинного обучения и разработки алгоритмов. Итак, мы берем эти изображения — эти лидарные данные, которые мы собираем с помощью этих транспортных средств, петабайты данных, которые хранятся в нашем облаке — и преобразуем их в полезные данные, из которых мы можем создавать автоматические средства извлечения признаков.
Традиционно у нас есть люди, которые смотрят на эти данные и делают из них 2D-карту. Это не годится для создания действительно подробной 3D-карты, необходимой для автономного вождения. Итак, моя роль поддерживает команды, которые пытаются автоматизировать процесс создания карты.
Какой конкретный пример проблемы вам нужно решить?
Обнаружение всех знаков в мире. Вывески очень полезны для картографирования. Атрибуты, которые есть на знаке: ограничения скорости, знаки остановки, предупреждающие индикаторы — все эти знаки говорят водителю что-то об окружающей среде, правилах дорожного движения. Существуют тысячи различных типов знаков, и в каждой стране есть свои вариации, языки и символы. Мы можем посмотреть на изображение и пометить знак или пометить дорожки и таким образом составить карту, но для этого требуется человек. Итак, теперь мы можем заменить этого человека машиной, которая может автоматически обнаруживать знаки.
Я поддерживаю создание этой обширной библиотеки обучающих данных, чтобы мы могли автоматически обнаруживать эти признаки и классифицировать их. Чтобы разработать эти алгоритмы, мы используем нашу внутреннюю рабочую силу и возможности краудсорсинга, чтобы люди помечали эти данные как входные данные.
Какой самый странный знак вы когда-либо видели?
Разнообразие знаков скрещивания животных по всему миру удивительно и очень специфично. Знаки кенгуру в Австралии — да, но знаки перехода в виде лягушки в Германии и Франции — это то, что вы не часто видите здесь, в Соединенных Штатах.
Так как же обнаружить знаки?
Метод грубой силы состоит в том, чтобы группа людей села за компьютер, просмотрела каждое изображение, нарисовала рамку вокруг знака и записала, что этот знак означает. Так это делается годами. Теперь переход заключается в том, чтобы взять эти ресурсы и вместо того, чтобы маркировать все, маркировать только те данные, которые мы можем обучить машине делать то же самое.
Самое передовое исследование алгоритмов глубокого обучения показало, что они очень успешно выполняют этот тип извлечения из изображений при наличии достаточного количества обучающих данных. Разница больше не в алгоритмах — их очень много в готовом виде — это на самом деле обучающие данные в качестве входных данных для этих алгоритмов, которые определяют, насколько успешно вы обнаруживаете эти функции и классифицируете их. Цель состоит в том, чтобы выполнять итерации как можно быстрее, используя как можно больше данных, которые вы можете получить каждый раз, и вы увидите значительные улучшения в производительности этих алгоритмов, когда будете обучать их всем пограничным случаям.
Независимо от того, маркируете ли вы данные для рисования карты вручную или обучаете машину рисовать карту, все равно требуется много человеческих усилий. Какую аналитику вы используете для оптимизации процесса?
Метрики, ориентированные на получение обучающих данных, очень важны, потому что мы тратим тысячи часов на маркировку этих данных. Очень дорого собирать объемы данных, необходимые для создания этих действительно высокопроизводительных алгоритмов. Понимание вашего процесса и наблюдение за небольшими изменениями, будь то просто щелчок мыши — сокращение одного щелчка мыши может иметь огромное влияние на объем ручной работы и производительность создания обучающих данных или построения карты. Все эти вещи нужно постоянно оценивать.
Давайте поговорим о человеческой стороне этого вопроса. Как вы мотивируете кого-то правильно маркировать данные, если человек воспринимает это как угрозу своей работе?
Речь идет не об автоматическом увольнении людей с работы, а о том, чтобы использовать их по-другому. Мы действительно масштабируемся. Вместо грубого форсирования процесса создания карты и того, чтобы люди смотрели на каждую вещь, мы заставили людей сосредоточиться на вещах, в которых они действительно хороши и которые машины не могут заменить. Это переход. Сосредоточьте их усилия на обозначении крайних случаев и сложных сред, вещей, которые мы не можем легко обобщить. Пусть они сосредоточатся на тех 10%, которые действительно являются самыми сложными и к которым мы, возможно, слишком упростили или даже не подошли.
Пример этих 10 %?
Мы не помечали каждый информационный знак на шоссе, который указывает вам на бизнес в будущем или уникальную перспективу… некоторые уникальные указатели, которые имеют отношение только к этому месту в этом мире, мы бы не стали преобразовывать эту информацию в карту. .
Когда мы только начинали, мы были сосредоточены на том, какие указатели необходимы для создания навигационной карты, например ограничения скорости. Теперь карта представляет собой трехмерную карту, которая полезна для машин. Может ли машина знать с действительно высокой степенью уверенности, где она находится в этом мире? GPS сам по себе недостаточно хорош. Машина должна понимать эталонную карту и определять свое местоположение в мире, сравнивая то, что она видит, с картой, и позиционировать себя на основе этого с точностью до метра. Таким образом, переход от двадцати метров потенциальной ошибки к метру, к сантиметрам, действительно является целью.
Какой знак поможет машине позиционировать себя?
Каждый знак. Все, что статично, все, в чем вы можете быть уверены, обычно будет там в следующий раз, когда вы будете проезжать мимо, — это полезная точка данных.
Какие были самые большие проблемы?
Сосредоточение огромного количества человеческих возможностей по маркировке и их сосредоточение на вещах, которые сложны для машин. В этом суть того, что я делаю: определение того, что сложно.
Как же определить, что сложно?
У нас есть много алгоритмов, которые делают похожие вещи, обнаруживают похожие или перекрывающиеся функции. Определив, где они могут конфликтовать, или где человек пометил одну вещь, а машина говорит, что это другая, это и есть конфликтные точки. Будь то машина против машины или человек против машины, я стараюсь создавать процессы, которые максимально эффективно находят эти конфликтные точки.
Как вы измеряете успех?
Мы выходим в новые страны и расширяем масштаб проблемы, поэтому финишная черта всегда движется. Позвольте мне выбросить эту другую идею, которая может быть полезной. У нас есть тысячи людей, которые являются экспертами в создании карты. Можем ли мы привлечь непрофессиональных картографов? Если вы можете упростить то, что нам нужно, чтобы люди помогали нам информировать, тогда этот труд разблокирован и позволяет нам масштабироваться совершенно иначе, чем в прошлом.
Что вы знаете сейчас из того, что хотели бы знать, когда начали работать над этой проблемой?
Убедитесь, что вы задаете толпе правильные вопросы и делаете правильные проверки, чтобы быть уверенными в ответах. Арабские буквы на вывеске в Саудовской Аравии — это не то, что вы хотите попросить человека в Колумбии перевести.
Что будет дальше в области машинного обучения?
Поиск способов, с помощью которых вам не нужно иметь столько данных, когда вы можете дополнять существующие наборы данных все меньшими и меньшими объемами данных, помеченных человеком, для получения тех же результатов. Прямо сейчас основное внимание уделяется получению большого количества высококачественных данных, но поскольку это дорого, проводится много исследований о том, как мы можем синтетически создавать эти данные автоматически. Можем ли мы показать, что можем достичь того же уровня производительности с 1000 человеческих изображений и 100 000 синтетических изображений, как если бы у нас был миллион изображений, помеченных людьми?
Пример создания искусственных данных?
Использование движков видеоигр для создания 3D-мира, который очень похож на наш реальный мир и имеет все погодные условия, которые вы можете смоделировать. Вы можете создать виртуальный мир, который настолько близок к реальной жизни, но вы также позволяете манипулировать этим миром так, как вы не можете манипулировать реальным миром. Можем ли мы устроить снежную бурю в Сан-Франциско? Это возможно только в этой виртуальной среде.
Видите ли вы какие-либо другие приложения для того, что вы делали с машинным обучением внутри или за пределами HERE?
Применение извлечения признаков знаков к другим вещам в мире, которые полезны для карты. Можете ли вы получить поток данных с датчика и автоматически идентифицировать такие полезные вещи, как доступная парковка или цены на газ в режиме реального времени?
Как разработчики могут использовать то, что HERE делает с помощью машинного обучения?
Мы начинаем использовать нашу Открытую платформу определения местоположения (OLP) для обеспечения инфраструктуры для наших внутренних процессов. Многие данные, которые мы извлекаем и которые мы создадим и поместим в HD Live Map, части этого потока данных будут доступны в OLP и будут получать информацию из OLP. Это будет еще один уровень информации, который мы можем использовать для перекрестных ссылок на наши алгоритмы машинного обучения, и аналогичным образом внешний разработчик может использовать его для перекрестных ссылок на свои собственные материалы. [Примечание: эти возможности обработки данных будут открыты для внешних разработчиков в 2018 году.]
Какие ресурсы вы бы порекомендовали тем, кто только начинает заниматься машинным обучением?
Удасити и Академия Хана. Они не сосредоточены на машинном обучении, но количество материала, относящегося к области компьютерных наук, поражает. Для алгоритмов опубликованные академические исследования являются передовыми. Есть большая конференция CVPR [Конференция по компьютерному зрению и распознаванию образов], которая является одной из главных конференций, посвященных последним исследованиям в этой области.
Вы изучали антропологию в Калифорнийском университете. Как антрополог, что вы думаете о машинном обучении и автоматизации мира?
Это будет действительно захватывающе. Наш мир через двадцать или тридцать лет будет выглядеть иначе, чем сегодня, из-за всей этой работы по автоматизации. Это открывает так много возможностей для того, как мы используем наше время, как мы используем свое пространство, как мы получаем вещи. Это так или иначе повлияет почти на каждый аспект нашей жизни. Трудно представить себе революцию, выходящую за рамки печатного станка, и то, что это сделало возможным, сопоставимое.
Узнайте больше об Оливере и свяжитесь с ним здесь.
