Изучение альтернативной метрики классификации
В мире науки о данных метрики — это компас, который ведет наши модели к успеху. Хотя многие знакомы с классическими показателями точности и полноты, на самом деле существует множество других вариантов, которые стоит изучить.
В этой статье мы углубимся в индекс Тверски. Эта метрика, являющаяся обобщением коэффициентов Дайса и Жаккара, может быть чрезвычайно полезна при попытке сбалансировать точность и полноту данных. При реализации в виде функции потерь для нейронных сетей это может стать мощным способом борьбы с дисбалансом классов.
Быстрое напоминание о точности и отзыве
Представьте, что вы детектив, которому поручено поймать преступников в вашем городе. На самом деле по улицам бродят 10 преступников.
В первый месяц вы приводите 8 подозреваемых, которых считаете преступниками. Только четверо из них оказываются виновными, а остальные четверо невиновны.
Если бы вы были моделью машинного обучения, вас бы оценивали по точности и запоминаемости.
Precision спрашивает: «Сколько из всех пойманных вами преступников?»
Recall спрашивает: «Скольких из всех преступников в городе вы поймали?»
Точность – это показатель, который показывает, насколько точны ваши прогнозы, без учета количества истинных положительных результатов (ложных отрицательных результатов). Напоминание измеряет, сколько истинных положительных результатов вы уловили, независимо от того, сколько ложных положительных результатов вы получили.
Как ваши детективные навыки соотносятся с этими показателями?
- точность = 4/(4 + 4) = 0,5
- отзыв = 4 / (4 + 6) = 0,4
Баланс между точностью и отзывом: метрика F1
В идеальном мире ваш классификатор обладает как высокой точностью, так и высокой полнотой. В качестве меры того, насколько хорошо ваш классификатор работает против обоих, статистика F1 измеряет среднее гармоническое между ними:
Эту метрику также иногда называют коэффициентом сходства Дайса (DSC).
