Увеличение данных для приложений классификации изображений с использованием глубокого обучения

Йоханна Пингель

Это сообщение от Oge Marques, PhD и профессора технических и компьютерных наук в FAU. Оге является Заслуженным докладчиком ACM, автором книги и стипендиатом Лешнера AAAS 2019–20. Он также является поклонником MATLAB и использует MATLAB в своих классах более 20 лет. Вы также можете следить за ним в Твиттере (@ProfessorOge)

Популяризацию глубокого обучения для классификации изображений и многих других задач компьютерного зрения можно частично объяснить наличием очень больших объемов обучающих данных. Общее мнение в сообществе машинного обучения и глубокого обучения заключается в том, что при прочих равных условиях чем больше обучающих данных у вас есть, тем лучше будет ваша модель (и, следовательно, ее производительность на тестовом наборе).

Однако во многих случаях у вас может не быть достаточно большого набора данных для обучения модели, которая может изучить нужные классы таким образом, который будет хорошо обобщаться на новые примеры, то есть не будет соответствовать обучающему набору. Часто это может быть связано со сложностью и стоимостью, связанными с получением и маркировкой изображений для создания больших обучающих наборов, независимо от того, выражается ли стоимость в долларах, человеческих усилиях, вычислительных ресурсах или затраченном времени. в процессе.

В этом сообщении блога мы сосредоточимся на методе под названием расширение данных, который используется для расширения существующего набора данных таким образом, который более рентабелен, чем дальнейший сбор данных. В случае приложений для классификации изображений увеличение данных обычно выполняется с использованием простых методов геометрического преобразования, применяемых к исходным изображениям, таких как обрезка, поворот, изменение размера, перемещение и отражение, которые мы более подробно обсудим ниже.

Эффективность и преимущества аугментации данных широко описаны в литературе: было показано, что аугментация данных может выступать в качестве регуляризатора в предотвращении переобучения в нейронных сетях [1, 2] и улучшать производительность в задачах с несбалансированными классами [3]. Кроме того, на протяжении многих лет в наиболее заметных задачах и соревнованиях по классификации изображений (таких как ImageNet) применялось увеличение данных. Это также мотивировало недавнюю работу по разработке методов, позволяющих нейронной сети изучать дополнения, которые лучше всего улучшают классификатор [4].

Реализация увеличения данных в MATLAB

Увеличение данных изображения может быть достигнуто двумя способами [5]:

1. автономная аугментация: которая состоит из выполнения преобразований изображений (потенциально с использованием возможностей пакетной обработки изображений MATLAB [6]) и сохранения результатов на диске, тем самым увеличивая размер набора данных на коэффициент, равный количество выполненных трансформаций. Это может быть приемлемо для небольших наборов данных.
2. онлайн-аугментация или аугментация на лету, заключающаяся в выполнении преобразований мини-пакетов, которые будут передаваться модели во время обучения. Этот метод предпочтительнее для больших наборов данных, чтобы избежать потенциально взрывоопасного увеличения требований к хранилищу.

MATLAB предоставляет элегантное и простое в использовании решение для онлайн-аугментации данных изображений, которое состоит из двух основных компонентов:

• augmentedImageDatastore: создает пакеты новых изображений после предварительной обработки исходных обучающих изображений с использованием таких операций, как поворот, перемещение, сдвиг, изменение размера или отражение (переворот).
• imageDataAugmenter: используется для настройки выбранных операций предварительной обработки для увеличения данных изображения.

Следующие параметры увеличения данных изображения доступны в MATLAB с использованием объекта imageDataAugmenter:

• Вращение
• Отражение вокруг оси X (переворот влево-вправо) или Y (переворот вверх ногами)
• Горизонтальное и вертикальное масштабирование
• Горизонтальная и вертикальная резка
• Горизонтальный и вертикальный перевод

Здесь стоит упомянуть несколько моментов:

• Когда вы инициализируете переменную imageDataAugmenter, вы можете выбрать один или несколько параметров, например, только отражение по осям X и Y, а также горизонтальное и вертикальное масштабирование, как показано во фрагменте кода ниже.

imageAugmenter = imageDataAugmenter( ...
    'RandXReflection', true, ...
    'RandXScale',[1,2], ...
    'RandYReflection', true, ...
    'RandYScale',[1,2]);

• Значения, которые вы передаете в качестве параметров некоторым параметрам (например, [1 2] для масштабирования X и Y выше), предназначены для представления диапазона значений, из которого случайно будет выбран на этапе предварительной обработки, если это преобразование применяется к изображению.
• В imageDataAugmenter также есть опция для предоставления функции, определяющей диапазон значений для определенного параметра, например случайный поворот между -5 и 5 градусами (см. фрагмент кода ниже).

imageAugmenter = imageDataAugmenter('RandRotation',@() -5 + 10 * rand);

imageAugmenter = imageDataAugmenter('RandRotation',@() -20+40*rand);

augImds = ... augmentedImageDatastore(imageSize,imds,'DataAugmentation',imageAugmenter);

% Preview augmentation results
batchedData = preview(augImds);
imshow(imtile(batchedData.input))

In = imread(which('peppers.png'));
Aug = imageDataAugmenter('RandXReflection',true);
Out = augment(Aug,In);
figure, montage({In, Out})