Плоская классификация

Иерархическая классификация

Очень большое количество исследований в области интеллектуального анализа данных, машинного обучения, распознавания статистических образов и связанных с ними исследовательских сообществ было сосредоточено на проблемах плоской классификации. Проблема плоской классификации относится к стандартным задачам бинарной или многоклассовой классификации. С другой стороны, многие важные реальные проблемы классификации естественным образом рассматриваются как проблемы иерархической классификации, в которых классы, которые необходимо предсказать, организованы в иерархию классов — обычно дерево или DAG (направленный ациклический граф).

Однако задача иерархической классификации нуждается в более четком определении, поскольку ее можно упустить из виду или спутать с другими задачами, которые часто ошибочно называют одним и тем же именем.

Например:

Яблоко может относиться к фрукту или компании.

Проблемы с существующей классификацией:

Рассмотрим вначале два типа традиционных методов классификации, которые не могут напрямую справиться с иерархическими классами: двухклассовые и многоклассовые классификаторы.

Во-первых, основное различие между бинарным классификатором и мультиклассовым классификатором заключается в том, что бинарный классификатор может обрабатывать только проблемы с двумя классами, в то время как мультиклассовый классификатор в принципе может обрабатывать любое количество классов.

Во-вторых, существуют мультиклассовые классификаторы, которые также могут быть мультиметочными, т.е. ответом от классификатора может быть более одного класса, присвоенного данному примеру.

В-третьих, поскольку эти типы классификаторов не предназначены для решения задач иерархической классификации, они будут называться алгоритмами плоской классификации.

В-четвертых, в контексте иерархической классификации большинство подходов можно было бы назвать многоуровневыми.

Существующие методы иерархической классификации:

  1. Подход «сверху вниз» (плоская классификация) сам по себе не является подходом к полной иерархической классификации, а скорее методом предотвращения или исправления несоответствий в прогнозировании классов на разных уровнях на этапе тестирования (а не обучения).
  2. Существуют разные способы использования локальной информации для создания локальных классификаторов, и, хотя в литературе большинство из них упоминаются как нисходящие, они сильно различаются на этапе обучения и немного отличаются на этапе тестирования. фаза
  3. Большой взрыв (или глобальные) классификаторы обучаются путем одновременного рассмотрения всей иерархии классов, и, следовательно, им не хватает модульности для локального обучения классификатора, которая является основной характеристикой подхода локального классификатора. .

1. Плоский подход к классификации

Подход плоской классификации, который является самым простым для решения проблем иерархической классификации, состоит в полном игнорировании иерархии классов, обычно прогнозируя только классы в листовых узлах. Этот подход ведет себя как традиционный алгоритм классификации во время обучения и тестирования. Однако он обеспечивает косвенное решение проблемы иерархической классификации, потому что, когда конечный класс присваивается экземпляру, можно считать, что все его классы-предки также неявно присваиваются этому экземпляру.

Однако у этого очень простого подхода есть серьезный недостаток, заключающийся в необходимости создания классификатора для различения большого количества классов (все конечные классы) без изучения информации об отношениях между родительскими и дочерними классами, присутствующими в иерархии классов.

2. Подход с использованием локальных классификаторов

Локальный классификатор для каждого узла,

Подход с локальным классификатором на узел состоит из обучения одного бинарного классификатора для каждого узла иерархии классов.

В этом подходе, когда для каждого родительского узла в иерархии классов мультиклассовый классификатор (или подход к декомпозиции проблемы с бинарными классификаторами, такими как схема «один против одного» для двоичных SVM) обучается различать его дочерние узлы.

Локальный классификатор по уровням

Подход с локальным классификатором на уровне состоит из обучения одного мультиклассового классификатора для каждого уровня иерархии классов.

3. Подход большого взрыва (или глобального классификатора)

Хотя проблема иерархической классификации может быть решена с использованием ранее описанных локальных подходов, изучение единой глобальной модели для всех классов имеет то преимущество, что общий размер модели глобальной классификации обычно значительно меньше по сравнению с общим размером всех классов. локальные модели, изученные любым из подходов локального классификатора.

В подходе глобального классификатора единая (относительно сложная) классификационная модель строится из обучающей выборки с учетом иерархии классов в целом в течение одного запуска алгоритма классификации. При использовании на этапе тестирования каждый тестовый пример классифицируется с помощью индуцированной модели — процесса, который может назначать классы потенциально на каждом уровне иерархии тестовому примеру.

Источник: Обзор иерархической классификации в различных предметных областях. Карлос Н. Силла мл. · Алекс А. Фрейтас