Методы разделения дерева решений

Что такое дерево решений?

Дерево решений - один из самых популярных алгоритмов машинного обучения с учителем, используемых для классификации, а также для решения задач регрессии.

Судя по названию, дерево решений представляет собой древовидную модель, построенную в перевернутом виде с корневым узлом наверху. Корневой узел разделяется на разные ветви, конец ветки, который больше не разделяется, является конечным или конечным узлом. Каждый корень представляет собой функцию, каждая ветвь представляет решение, а каждый лист представляет собой результат.

Дерево решений использует многоуровневый процесс разделения, где на каждом уровне слоя он пытается разделить данные на две или более группы, и данные, которые попадают в одну группу, наиболее похожи друг на друга (однородны), а группы максимально отличаются друг от друга. (разнородный).

Различные алгоритмы построения деревьев решений

Существуют разные алгоритмы построения дерева решений, но здесь мы обсудим некоторые из них.

  • ID3 или итеративный Dichtomiser3 вычисляет энтропию каждого атрибута набора данных, разбивает набор данных на подмножество, используя атрибут, который имеет наименьшую энтропию или наибольший прирост информации.
  • CART генерирует деревья классификации и регрессии. Он использует индекс Джини для разделения узла, в отличие от ID3, который использует энтропию для разделения. CART следует жадному алгоритму, который направлен только на уменьшение функции стоимости.

Как выбрать лучший атрибут?

Дерево решений обычно рассматривает все данные как корень. Далее он разделяется на узлы / ветви принятия решений до тех пор, пока не будут сформированы листовые или оконечные узлы. Он выбирает атрибут в качестве корневого узла на основе индекса Джини, энтропии и прироста информации.

  1. ЭНТРОПИЯ: энтропия - это мера примеси или неопределенности, присутствующей в наборе данных. Он контролирует, как дерево решений решает разделить данные. Энтропия колеблется от 0 до 1. Энтропия почти равна нулю для однородной выборки, что означает, что это листовой узел, хотя его нельзя разделить дальше. Если половина образца относится к положительному классу, а половина - к отрицательному, то энтропия равна единице, очень высока.

2. ИНФОРМАЦИОННЫЙ ПРИБЫЛЬ: вычисляя меру энтропии каждого атрибута, мы можем вычислить их информационный прирост. Прирост информации измеряет уменьшение энтропии путем вычитания взвешенных энтропий каждой ветви из исходной энтропии.

Информационный прирост рассчитывается для каждого атрибута в наборе данных. Для разделения набора данных выбирается атрибут с наибольшим объемом информации. Информационный прирост - это как раз мера, используемая алгоритмом ID3.

3. ИНДЕКС Джини: такой алгоритм, как CART, использует Джини в качестве параметра примеси. Это показатель для измерения того, как часто случайно выбранный элемент будет неправильно классифицироваться. При построении дерева решений предпочтительнее использовать функцию с наименьшим значением индекса Джини. Минимальное значение для индекса Джини - 0. Джини рассчитывается как -

Преимущества и недостатки дерева решений

Есть несколько преимуществ и недостатков деревьев решений, которые мы должны учитывать перед построением модели дерева.

Преимущества

  1. Модели дерева решений легко объяснить, и даже наивный человек может понять логику путем ее визуализации.
  2. Он может обрабатывать как категориальные, так и числовые данные и дает лучшую точность, чем другие модели.
  3. Дерево решений - это гибкий алгоритм, так как любые отсутствующие значения, присутствующие в данных, не влияют на его решение.

Недостатки

  1. Небольшое изменение данных может вызвать большое изменение структуры дерева решений, что приведет к нестабильности.
  2. Дерево решений часто требует большего времени для обучения модели.

Вот и все. Надеюсь, вам понравилось, и вы кое-что узнали. Если вам понравилась эта история, пожалуйста, аплодируйте!

Пожалуйста, ознакомьтесь с переоборудованием и неполным оснащением в CART и методами преодоления неполного и переобучения, если вы заинтересованы в дальнейшем изучении этой темы.

Ссылка: Википедия

Посмотрите мою другую статью: https://medium.com/swlh/what-is-clustering-and-common-clustering-algorithms-94d2b289df06