●Иногда верные прогнозы, как истинно положительные, так и истинно отрицательные, могут происходить по простому совпадению.

●Поскольку эти события повышают точность модели, в идеале этого не должно происходить.

● Коэффициент Каппа измеряет степень соответствия между истинными значениями и прогнозируемыми значениями.

●Значение Каппа модели указывает на скорректированную точность модели. Он рассчитывается по следующей формуле:

●p0 = общая точность модели.

● А pe — это мера совпадения предсказаний модели и фактических значений класса, как если бы это произошло случайно.

● В задаче бинарной классификации, такой как наша, pe – это сумма pe1 , вероятности случайного совпадения прогнозов с фактическими значениями класса 1 ("выигрыш"), и pe2 , вероятность случайного совпадения прогнозов с фактическими значениями класса 2 («проигрыш»).

●Предполагая, что предсказания модели и фактические значения класса — независимы, эти вероятности, pe1 и pe2, рассчитываются путем умножения доли фактического класса и доли прогнозируемый класс.

●pe =pe1+pe2 = pe1,pred * pe1,actual + pe2,pred * pe2,actual

В контексте приведенной выше матрицы путаницы общее количество TP = 85,

количество FP = 4, количество FN = 2 и количество TN = 9

p0 = 0.94

pe =

pe = 0.7886

So, k= (0.94–0.7886)/ (1–0.7886) = 0.7162

Значение Каппа может быть максимальным 1, что представляет собой идеальное соответствие между прогнозом модели и фактическими значениями.