Энтропия Шеннона для измерения беспорядка

Шеннон — американский математик. Он вводит идею энтропии для измерения беспорядка в некоторых данных.

Мы называем это энтропией Шеннона.

Предположим, у нас есть три ряда таких ромбов:

Какой из них имеет наибольшую энтропию (больше всего в беспорядке, где труднее заранее узнать форму случайного алмаза)?

Энтропия Шеннона с формулой

Я собираюсь математически объяснить ответы. Вы можете пропустить эту часть, если у вас аллергия на математику.

Формула:

Что дает в нашем контексте:

P означает вероятность.

Расчет выглядит следующим образом:

Деревья решений

Предположим, мы хотим угадать форму (пятиугольник или пластина) бриллианта по его атрибутам. У нас есть три алмаза.

Один из способов сделать это — построить дерево решений.

Энтропия Шеннона для деревьев решений

Мы построили наше дерево, глядя на наши три бриллианта. Но на самом деле у нас часто гораздо больше данных. Мы хотим использовать математический способ для получения нашего дерева решений.

Математическим способом может быть энтропия Шеннона.

  1. Мы вычисляем энтропию всех алмазов.
  2. Мы делим их по одной характеристике, например, по карату.
  3. Мы вычисляем энтропию новых двух групп.
  4. Тогда у нас есть два решения.

а. Энтропия одной из двух групп лучше, чем у общей группы. Наша характеристика хороша для очистки данных. Мы решили использовать его в нашем дереве решений.

б. Энтропия двух групп не лучше. Мы не используем характеристику и ищем другую.

В нашем контексте сначала у нас есть 3 бриллианта. У нас энтропия 0,91.

Разделяем группу с помощью карата.

Для группы бриллиантов с высокой каратностью мы получаем группу из одного бриллианта с энтропией 0. Группа бриллиантов (два бриллианта) с низкой каратностью получает энтропию 1.

Первая группа получает лучшую энтропию, чем первая начальная группа. Затем мы решаем использовать карат, чтобы сначала привести в порядок наши бриллианты.

Теперь нам нужно привести в порядок наши бриллианты с низким каратом. Разделяем их по размеру.

Мы обнаруживаем две совершенные группы (одного алмаза) с энтропией 0. Мы сохраняем эту характеристику.

Наконец, мы получаем наше дерево решений:

Энтропия в термодинамике

Вначале энтропия была концепцией термодинамики. Это способ измерения движения частиц.

Например, лед имеет низкую энтропию, потому что составляющие его частицы почти не движутся. Облако имеет высокую энтропию, потому что важны движения частиц внутри. Вода имеет среднюю энтропию.

Вывод

Энтропия Шеннона имеет и другие полезные свойства в машинном обучении. В дереве решений интересно увидеть, что мы очищаем данные больше, чем классифицируем их.

Вы можете проверить этот тезис (французский), если хотите увидеть способ использования энтропии Шеннона в другом типе машинного обучения (кластеризация для обнаружения аномалий).

Если вам нужна дополнительная информация по этим темам в целом, вы можете проверить эти ссылки: