Для машинного обучения с учителем необходимы точно размеченные данные. Аннотирование данных - утомительная и громоздкая задача, особенно когда речь идет о большом количестве элементов, которые нужно пометить со сложной структурой или рамкой.

Например, мне нужна сеть сегментации для собак, есть разные виды собак, и для каждого кадра у них будет новая поза.

Рисунок 1: Источник: Проект PASCAL VOC

Чтобы упростить задачу и увеличить скорость при аннотировании, мы создали инструмент аннотации волшебной палочки, который помогает вам находить сложные границы объекта, просто задавая прямоугольную область интереса (ROI).

Выполнение

В качестве волшебной палочки мы сравниваем пиксели изображения на предмет сходства, таким образом, мы можем сгруппировать похожие пиксели с помощью спектральной кластеризации и создать контур объекта.

Есть несколько вопросов, которые возникают при сравнении пикселей, можно сравнить пиксели по:

  • Возможности RGB
  • Интенсивность света
  • Текстура
  • Позиционные координаты
  • Оттенок

Кроме того, если вы сравните каждый пиксель с каждым другим пикселем, создается массивный оператор, например для области интереса 300x300 пикселей создается матрица сходства 90 000 x 90 000, симметричная матрица, которая описывает сходство каждого пикселя со всеми остальными , для чего требуется значительный объем вычислительных ресурсов и памяти.

Поэтому нам нужно решить, какие функции мы сравниваем и как обрабатывать такой объем данных.

После некоторого исследования мы закончили тем, что использовали комбинацию значений RGB и координат и реализовали схему аппроксимации большой матрицы подобия, которая уменьшает объем данных, которые нужно обработать, так что мы можем вычислить кластер в реальном времени. Кроме того, мы используем самообучающуюся метрику подобия.

Рисунок 2: слева направо, исходное изображение, нарисованная область интереса, вычисленный контур кластера

Но компьютеру по-прежнему сложно выбрать нужный объект с наиболее однородной частью, поскольку он не может угадать цель человека. К тому же для объекта со сложным узором в себе получить какое-то сходство сложно.

Подводя итог, волшебная палочка имеет свои пределы, но отлично работает с объектами, которые сами по себе довольно однородны, но со сложным контуром.

В конце концов, инструмент аннотации волшебной палочки - это не волшебство, а чистая математика.

Вы можете попробовать инструмент аннотации волшебной палочки самостоятельно, просто посетите нашу платформу MoonVision и начните работу по маркировке бесплатно.

Outlook

Нам нужно углубиться! В настоящее время мы исследуем второй инструмент аннотации, похожий на палочку, который использует более семантические ограничения, но чистые данные RGB, глубокое пространство для встраивания, где вы также частично определяете то, что вас интересует. Так что следите за моим следующим обновлением!