] К. Дима, М. Хеберт и А. Стенц, Обеспечение возможности обучения на основе больших наборов данных: применение активного обучения к мобильной робототехнике, Институт робототехники Университета Карнеги-Меллона, Питтсбург, (2004 г.)
Аннотация
В наружной робототехнике транспортному средству требуется множество различных датчиков для распознавания препятствий, что создает многоразмерные и неразмеченные данные в результате использования более одного датчика в зеркале. В то же время эти датчики создают большой набор данных, поскольку они постоянно стимулируются объектом. В этом исследовании авторы проводят исследование, предполагающее, что эти сложные данные можно использовать просто, экономично и эффективно. Они не использовали активное обучение для эксперимента, они используют активное обучение для оценки эффективности между разработанными ими методами и сценарием, если они используют активное обучение.
Нельзя упускать из виду успех экспериментов, проведенных авторами в этой статье, которые добавили другой взгляд на машинное обучение в области наружной робототехники. Помимо использования немаркированных данных, они получили почти такие же результаты с предыдущими методами с небольшим набором данных, который они выбрали вместо всего набора данных.
1. Введение/мотивация
Основная цель статьи «Возможность обучения на больших наборах данных: применение активного обучения к мобильной робототехнике» состоит в том, чтобы обучить машину, используя небольшую часть многомерного комплекса и большой набор данных, собранных с различных датчиков, прикрепленных к транспортным средствам, и дать ей возможность выполнять правильные предположения в будущем, используя неконтролируемое обучение. Известно, что работа с большим набором данных является дорогостоящей и трудоемкой, поэтому авторы упомянули, как они получили результаты, используя небольшой набор данных, чтобы избежать упомянутых недостатков. В этом исследовании активное обучение не использовалось, но если активное обучение использовалось, авторы проверяли, есть ли разница с методологией, которую они улучшили. Поскольку данные, собранные с датчиков, не относятся к распределению, которое считается непараметрическим, они соответствуют определенному распределению, называемому оценкой плотности ядра (KDE), так что интересные сцены, которые противоречат прогнозам, правильно оформляются. и формируется разворот для классификации. для. В этом исследовании использовались два разных автомобиля, три разных датчика, и оно проводилось в четырех разных местах, чтобы подтвердить, что их исследования последовательны или надежны на разных участках. В дополнение к поддержке своих решений были учтены габариты и габариты транспортных средств, а также использовались различные типы транспортных средств. В их исследованиях наблюдалась почти такая же ситуация при сравнении больших данных и малых данных и рассмотрении качества малых данных с большими данными. Как будет показано далее в статье. Также метод, который автор использовал сам по себе или в качестве первого этапа более сложных систем активного обучения, требующих взаимодействия с человеком. Метод, описанный в этой статье, был применен в контексте классификации местности и обнаружения препятствий для автономных наружных роботов.
В этой статье во 2-м разделе будет проведено сравнение между тем, как ранее решались упомянутые проблемы, и тем, как с ними справились авторы, затем в 3-м разделе будет подробно рассмотрен метод, использованный авторами, и небольшой фрагмент кода. делиться. Наконец, в разделе 5, который находится в последнем разделе эффективности предлагаемого решения, важных выводов и новых идей для будущей работы. об этом методе, а также о результатах исследований и экспериментов.
2. Похожая работа
В [2] авторы предложили алгоритм, основанный на нейронных сетях. Этот алгоритм использовал обратное распространение в нейронных сетях с использованием угла поворота в робототехнике. [2] На основе этого алгоритма Дима, Хеберт и Стенц предложили алгоритм для наружной робототехники, основанный на оценке плотности ядра (KDE), и они назвали этот алгоритм для наружной робототехники «фильтрацией данных без меток».
2.1 Нейронные сети в робототехнике
Померло использовал алгоритм обратного распространения для робототехники, основанный на нейронных сетях. [2] Нейронная сеть — это система машинного обучения и искусственного интеллекта, вдохновленная человеческим мозгом, и с помощью этих сетей можно решать различные компьютерные задачи.[4]. Обратное распространение — это метод, процесс обучения которого основан на методе самого глубокого спуска, и он также сможет минимизировать ошибку нелинейных функций большой сложности, если задано подходящее количество скрытых единиц. [5] Более того, по мнению автора, обратное распространение — это сети, в которых функция обучения имеет тенденцию «распространяться» по ссылкам из-за используемого механизма коррекции весов.[5]
Померло использовал угол поворота рулевого колеса с обратным распространением, чтобы активировать выходные данные направления, которые собирает водитель, чтобы обучить нейронную сеть для наружной робототехники. [1] Для этого метода требуется обучающая выборка, которая должна быть высокого качества. Этот метод обучен структурированному шуму для улучшения сети, и эта сеть используется для высокой степени пространственной корреляции. [2]
2.2 Оценка плотности ядра для неконтролируемого обучения
2.2.1 Оценка плотности
Оценка плотности проходит грань между неконтролируемым обучением, проектированием признаков и моделированием данных. Некоторыми из наиболее популярных и полезных методов оценки плотности являются смешанные модели, такие как гауссовские смеси, и подходы на основе соседей, такие как оценка плотности ядра. схема кластеризации.
Оценка плотности — очень простая концепция, и большинство людей уже знакомы с одним распространенным методом оценки плотности: гистограммой.
2.2.2 Оценка плотности ядра
Согласно Диме, Хеберту и Стенцу, оценка плотности ядра основана на оценке функции плотности вероятности в пространстве, в котором часто существуют захваченные точки данных [1], также из-за данных датчика нет таких доказательств того, что функция плотности вероятности в пространстве точки данных существуют часто, поэтому авторы могли выбрать любое распределение вероятностей, которое они хотели, потому что собранные данные были непараметрическим подходом, таким как смеси Гаусса или оценка плотности ядра (KDE).
Несмотря на то, что они медленнее, чем миксы, подходы на основе ядра имеют преимущество в том, что они не зависят от гауссиан [1]. Несмотря на то, что они медленнее, чем миксы, подходы на основе ядра имеют то преимущество, что они не зависят от гауссовских ядер, поэтому у гауссовских ядер меньше проблем с минимумами, и это обычно соответствует пропускной способности. [1] Полоса пропускания h относится к параметру сглаживания.
2.3 Сравнение методологий
Основное различие между нейронными сетями и подходом к оценке плотности ядра заключается в том, что нейронная сеть дает лучшее решение с большими обучающими данными, с другой стороны, оценка плотности ядра дает примерно такое же решение с небольшим набором обучающих данных. Использование небольшого набора данных делает вычисления быстрыми и дешевыми, следовательно, благодаря этим параметрам авторы построили более эффективный алгоритм благодаря этим параметрам.[1]. Также в нейронной сети требуется активное обучение для маркировки для обнаружения препятствий, что слишком дорого из-за большого набора данных и взаимодействия с человеком. Напротив, авторы разработали алгоритм, основанный на оценке плотности ядра, не требующий активного обучения в процессе обучения. [1] Дима, Хеберт и Стенц использовали активное обучение только для измерения своей точности, чтобы найти интересные сцены изображения, чтобы сообщить читателям о точности алгоритмов.[1]
3.Цифры
В этом разделе будет описана оценка плотности ядра с цифрами, формулой метода, решением метода, псевдокодом и сложностью времени выполнения предлагаемой методологии.
3.1Цифры
Рисунок 1: автономный тягач CMU (слева) и GDRS XUV (справа).
Дима, Хеберт и Стенц использовали два роботизированных транспортных средства для экспериментов, описанных в статье, а именно автономный тягач CMU и GDRS XUV, и они выбрали эти транспортные средства, чтобы сообщить читателям, что их алгоритм может использоваться для разных транспортных средств. Авторы использовали датчики для транспортных средств, которые представляют собой две высококачественные (1280x960) цифровые цветные камеры Sony DFW-SX900, камеру ближнего инфракрасного диапазона Raytheon Control IR 2000B и два лазерных дальномера SICK LMS-200 с механическим сканированием, которые включены в состав автономного тягача CMU. , цветные камеры, инфракрасная камера и лазерный дальномер также включены в XUV для позиционирования, оба автомобиля используют GPS, энкодеры и инерциальные датчики. [1]
Рис. 2. Решения для обычных изображений в левом ряду и интересные в правом ряду.
На рис. 2 основная концепция: «распространенный» сценарий в левой колонке, «интересный» — в правой. Вторая строка изображает пространство признаков в двух измерениях (полученное с помощью PCA). Патчи, которые уже находятся в указанном наборе S, представлены синими (темными) точками. Точки данных из текущей оцениваемой сцены представлены зелеными кружками и красными крестиками (красные кресты — это 25 наименее вероятных участков). Существует много перекрытий между фрагментами общей сцены и фрагментами набора S, однако большое количество фрагментов увлекательной сцены находится в пустых в настоящее время частях пространства признаков. В результате вероятность наименее вероятных заплат в интригующей сцене увеличилась.[1]
Рис. 3. Например, изображения, выбранные алгоритмом KDE, с местами участков с низкой вероятностью, отмеченными красными квадратами.
3.2Формула
Формулы для объяснения оценки плотности ядра (KDE).
(1)
(2)
(3)
(4)
3.3 Алгоритмическое решение KDE
Цель состоит в том, чтобы выбранные патчи заполнили некоторые секции пространства функций с низкой плотностью. Учитывая N точек данных x1,…, xN из Rd, оценка KDE для вероятности нахождения шаблона x при использовании ядра Гаусса равна, где h — пропускная способность (k-кратная перекрестная проверка может использоваться для вычисления оптимальной наилучшей пропускной способности), которая будет вычислено по уравнению 1. Предположим, что набор фотографий интересен, поэтому мы назовем их S и выберем их. Фотографии, которые не были выбраны, будут обозначаться как U. Первоначально U будет содержать весь набор данных, а S будет пустым.
Шаги алгоритма
1. Выберите фотографии наугад и добавьте к S
2. Патчи из образов в S можно использовать в KDE для оценки размера образа. (Уравнение 1)
3. Вероятность просмотра изображения можно обозначить как I как функцию вероятности его фрагментов (уравнение 2).
4. Интересуют участки его k наименее наблюдаемых областей, а не все изображение целиком. Если мы назовем набор из k наименее вероятных участков Ak (с xA,yIA = p), то (x) (уравнение 3)
5. Подсчитайте баллы по уравнению 4.
6. Выбирайте наименьшие баллы
7. Дополнить С.
8. Повторяйте этот алгоритм до тех пор, пока не останется интересной сцены.
3.4 Реализация KDE на Python
Код ниже написан в PyCharm с Python версии 3.8.2 и NumPy версии 1.22.2.
импортировать numpy как np
def hist_pdf(x, data, n_bins=10, minv=None, maxv=None):
"""Оценка плотности гистограммы
< br /> [minv, minv+delta, , minv+delta*2, …, 1]
для любого x в B_l=[minv+delta*j, minv+delta*(j+1 )] плотность оценивается следующим образом
p(x) = p(x | x \in B_l) * p(x \in B_l) = (1/delta) * (\sum_{ x_j}{I(x_j \in B_l)} / N)
где N — количество точек в наборе данных
Параметры
— — — — —
x: float
точка для оценки плотности в
data: numpy array
точки данных, используемые для построения плотности
n_bins: int
количество bins
minv: float или None
минимальное значение домена. Если None, оценивается по данным
maxv: float или None
максимальное значение домена. Если нет, оценка по данным
Возвращает
— — — -
pdf: float
вычисленная плотность в точке x с учетом данных
«»»
если minv равно None:
minv = np.min(data)
если maxv равно None:
maxv = np.max(data)
delta = (maxv-minv) / n_bins
bins = np.arange(minv, maxv, delta)
bin_id = int((x- minv)/delta)
bin_minv = minv+delta*bin_id
bin_maxv = minv+delta*(bin_id+1)
n_data = len(data)
n_data_in_bin = len(data[np.where((data›bin_minv) & (data‹bin_maxv))])
pdf = (1.0/delta) * (n_data_in_bin / n_data)
return pdf
def kde_pdf(x, data, h=0.1, minv=None, maxv=None):
"""Оценка плотности ядра ( с ядром Гаусса)
Общая форма оценщика плотности ядра:
p(x) = \frac{1}{N \mul h}\sum_{i=1} {N}{K(\frac{x-x_i}{h})}
где K(x) = \frac{1}{\sqrt{2\pi}} \exp{\ frac{x²}{2}}
Параметры
— — — — —
x: точка с плавающей запятой
для оценки плотности в
data: пустой массив
точек данных, используемых для построения плотности
h: int
пропускной способности ядра. Выбор этого параметра является отдельной темой исследования.
Возвращает
— — — -
pdf: float
вычисленная плотность в точке x с учетом данных
“ ””
N = len(data)
pdf = (1/(h*N)) * np.sum((1/np.sqrt(2*np .pi)) * np.exp(-((data-x)**2)/(2*(h**2))))
вернуть pdf
3.5 Сложности во время выполнения
В разделе 3.4 оценка плотности ядра с помощью Gaussian Kernel применяется с нуля, время выполнения имеет временную сложность O (m3), где m — количество точек данных, выбранных из обучающего набора. С другой стороны, временная сложность этого алгоритма может быть улучшена, по словам авторов, которые придумали решение, называемое k-d-tree, которое делает временную сложность алгоритма оценки плотности ядра Гаусса O (nlog (n)). [3]
4. Эксперименты
Транспортные средства, показанные на рисунке 1, используются в эксперименте, способном записывать огромное количество лазерных данных и изображений, которые проецируются с использованием самых последних лазерных данных, а также изображение разделено на сетку прямоугольных участков, и каждый модальность данных дает множество характеристик. следовательно, каждый журнал данных будет иметь несколько изображений, каждое изображение будет содержать множество фрагментов (1200 в бумажном экземпляре), и каждый фрагмент изображения будет извлечен с многочисленными характеристиками (36 в экспериментах, описанных в этом исследовании). первоначальные тесты с использованием трех средних цветов или результатов сжатия всех признаков в пятимерное пространство с использованием PCA, поскольку оценку плотности ядра нельзя использовать непосредственно в 36-мерном входном пространстве. [1] Анализ основных компонентов, или PCA, представляет собой подход к уменьшению размерности для уменьшения размерности наборов данных, которые достаточно велики, и обеспечивает преобразование большого набора переменных в меньший, который сохраняет большую часть информации в большом наборе. . Автор упомянул, что после извлечения признаков любой традиционный метод обучения, такой как нейронные сети, машины опорных векторов, деревья решений и другие, можно использовать для классификации участков изображения как препятствий, не-препятствий или дорог без дорог. [1]
Эксперимент был создан авторами для проверки обнаружения препятствий и отслеживания дороги. Для этого эксперимента был выбран трактор для набора данных FARM, поскольку на поверхности местности было несколько препятствий, и эта коллекция включает 900 фотографий, записанных с частотой 2 Гц.[1] Другие наборы данных, такие как TAILGRASS и HOLE, которые были более сложными, чем набор данных FARM, также были оценены, и эти три набора данных использовались для обнаружения препятствий, тогда как автомобиль XUV использовался для обнаружения дорог в другом наборе данных, названном набором данных о дорогах. [1]
Эксперимент, проведенный автором, учитывал два параметра успеха;
1. Выбор сцены
2. Производительность классификации
4.1 Выбор сцены
На рис. 4 показаны результаты применения цветовых характеристик к набору данных FARM.
В испытаниях применялся алгоритм фильтрации немаркированных данных, который был создан автором для наборов данных и пытался определить, отдает ли система приоритет сценам, которые могут быть интересны человеку, например, фотографии препятствий или сцены с различными типами дорог. [1]
Набор данных FARM, показанный на рисунке 4, находится в трехмерном пространстве, участки изображения были представлены исключительно их цветовой информацией, а также в качестве напоминания о том, что первое изображение всегда выбирается случайным образом, а затем алгоритм выбирает фотографии с наименьшим баллом. в соответствии с метрикой, определенной в уравнении 4 итеративно.
Действительно ли алгоритм идентифицирует как интересные те части изображения, которые эксперт-человек счел бы захватывающими, был главный вопрос, поэтому, основываясь на хороших результатах, полученных на этих сложных наборах данных, наличие препятствий на выбранных фотографиях не обязательно подразумевает систему. выбрал изображения из-за трудностей. [1]
4.2 Эффективность классификации
На рис. 5 показаны результаты применения цветовых характеристик к набору данных ROAD.
Цель состоит не только в том, чтобы выбрать интригующие изображения в наборах данных, но и в том, чтобы достичь приемлемой производительности классификации при маркировке значительно меньшего количества данных, и был проведен базовый эксперимент по обучению с учителем, чтобы убедиться, что выбранные изображения могут привести к хорошей производительности благодаря Диме, Хеберту и Стенцу. . [1 Чтобы оценить частоту ошибок, метки были помечены, и на рисунке 87 производительность двух алгоритмов показывает, что частота ошибок двух классификаторов почти одинакова, что составляет примерно 3,6 %. [1]
Исправления препятствий составляют 9,03 процента тестового набора, что означает, что классификатор, который игнорирует все данные и всегда предсказывает, что наиболее распространенный класс (не препятствие) будет иметь коэффициент ошибок 9,03 процента, также эти результаты могут оказаться неожиданно хорошими, процент участков препятствий, присутствующих в каждом из наборов обучающих данных, объясняет, почему, следовательно, большой набор обучающих данных был относительно несбалансированным, подразумевая, что трава присутствовала в большинстве данных. [1] С другой стороны, изображения, выбранные с помощью метода оценки плотности ядра, содержали 19,2% участков препятствий, которые были обнаружены с 5 изображениями. [1]
Рис. 6: Цвет, текстура, ИК и лазерные характеристики были спроецированы в 5D с использованием PCA в наборе данных TALLGRASS.
Рис. 7. Частота ошибок классификаторов, обученных на активном обучающем наборе и обучении на всем наборе данных.
Дима, Хеберт и Стенц показывают, как резко сократить количество маркировок данных, необходимых для задач категоризации на открытом воздухе для робототехники, и этот метод можно использовать для автоматической «фильтрации» огромных наборов данных и извлечения значимых изображений, что приводит к хорошему охвату пространства признаков. , как показали наши результаты для наборов данных из различных сред, следовательно, ясно видно, что ранний тест классификации показал, что в некоторых обстоятельствах частота ошибок, полученная путем маркировки набора данных из сотен изображений, может быть столь же превосходной, как и частота ошибок, полученная путем маркировки набор данных из пяти значимых изображений.[1]
5.Обсуждение и заключение
Эти результаты открывают путь к использованию машинного обучения для решения крупномасштабных задач классификации в уличной робототехнике. Подходы к активному обучению, подобные описанному в этой статье, становятся все более популярными. Авторы разработали модель для повышения стоимости и эффективности, а также экспериментально доказали свой алгоритм. Они использовали четыре разных набора данных и два разных автомобиля с четырьмя разными датчиками для получения высококачественных результатов. В экспериментах ясно видно, что их алгоритм отлично работает на небольших наборах данных, даже с пятью изображениями они могут получить хорошие решения или почти идентичные решения для большого набора данных. Использование оценки плотности ядра для интересных сцен, без сомнения, стало очень успешным в робототехнике на открытом воздухе. Кроме того, этот алгоритм можно улучшить за счет его надежности, потому что нет ни одного надежного исследования в этом алгоритме, он варьируется от набора данных к набору данных. Более того, скорость вызывает беспокойство из-за использования ядра Гаусса в оценке плотности ядра, что может стать проблемой при работе со сложными данными или данными в реальном времени.
Нельзя сбрасывать со счетов успех тестов, проведенных авторами для этой работы, которые внесли новый взгляд на машинное обучение в области уличной робототехники. Они получили почти те же результаты с предыдущими методами с крошечным набором данных, который они выбрали вместо всего набора данных, несмотря на использование немаркированных данных.
Ссылки:
[1] К. Дима, М. Хеберт и А. Стенц, Обеспечение возможности обучения на основе больших наборов данных: применение активного обучения к мобильной робототехнике, Институт робототехники Университета Карнеги-Меллона, Питтсбург, (2004 г.)
[2] Д. Померло, «Прогресс в области видения на основе нейронных сетей для автономного вождения роботов», в материалах симпозиума «Умные транспортные средства '92», 1992 г., стр. 391–396.
[3] Грей, Александр Г. и Эндрю В. Мур. «Быстрая оценка моделей множественной плотности». В АЙСТАТС. 2003.
[4] М.М. Мийвел, А. Эсен и А. Шамиль, Обзор нейронных сетей, t, Багдадский колледж экономических наук, Иракский институт социальных наук, экономическое право, Газиантепский университет, Турция, факультет информационных технологий, Ближневосточный университет, Иордания, апрель 2019 г.
[5] М.Бушема, Нейронные сети с обратным распространением, Semeion Research Center of Communication Sciences, февраль 1998 г.
