Работа с классовым дисбалансом в классификации с несколькими метками

Любая линейная модель будет "очень плохо" справляться с дисбалансом классов, если вы заставите ее использовать квадрат потерь для задачи двоичной классификации. Подумайте о функции потерь: если 99% наблюдений равны нулю, прогноз 0 во всех случаях дает квадратичную ошибку 0,01. Vowpal Wabbit не может творить чудеса: если вы попросите его минимизировать квадратичную потерю ошибок, он действительно сведет к минимуму квадратичную потерю ошибок, как и любая другая программа регрессии.

Вот демонстрация той же «проблемы» с моделью линейной регрессии в R:

set.seed(42)
rows <- 10000
cols <- 100
x <- matrix(sample(0:1, rows*cols, replace=TRUE), nrow=rows)
y <- x %*% runif(cols) + runif(rows)
y <- ifelse(y<quantile(y, 0.99), 0, 1)
lin_mod <- glm(y~., data.frame(y, x), family='gaussian') #Linear model
log_mod <- glm(factor(y)~., data.frame(y, x), family='binomial') #Logistic model

Сравнение прогнозов линейной и логистической модели показывает, что линейная модель всегда предсказывает 0, а логистическая модель предсказывает правильное сочетание нулей и единиц:

> table(ifelse(predict(lin_mod, type='response')>0.50, 1, 0))

    0 
10000 
> table(ifelse(predict(log_mod, type='response')>0.50, 1, 0))

   0    1 
9900  100 

Используйте --loss_function="logistic" или --loss_function="hinge" для задач двоичной классификации в vowpal wabbit. Вы можете оценить свои прогнозы постфактум, используя потерю Хэмминга, но может быть полезно сравнить ваши результаты с потерей Хэмминга при постоянном прогнозе 0.

Я так понимаю, вы сократили проблему до 100, задач двоичной классификации? Это был бы стандартный способ делать что-то в многопользовательской среде.

Если вашей оценочной метрикой действительно является потеря Хэмминга, тогда вам может быть лучше спрогнозировать большинство для каждой двоичной проблемы. Трудно превзойти это для очень несбалансированных проблем. Но в большинстве случаев ваша метрика оценки отличается. Например, вы можете захотеть оптимизировать показатель F1 (микро или макро). В таких случаях вы можете попытаться как-то сбалансировать выборки + ve и -ve для каждой двоичной проблемы. Есть несколько способов сделать это.

Как упоминал Слейтер, вы можете попытаться оптимизировать AUC для каждой задачи обучения. В этом случае вы изучите функцию с действительным знаком, принимающую в качестве входных данных экземпляр. Теперь вместо порогового значения по умолчанию (которое обычно равно 0) вы можете установить порог с другим значением и попробовать производительность.

Фактически, вы можете попробовать «разные» пороговые значения даже для обычных наименьших квадратов, которые вы оптимизировали. Однако этот порог имеет решающее значение, и вам придется выбрать его с помощью перекрестной проверки.

Кроме того, вы не можете изменить порог, но изменить «веса» примеров в различных задачах обучения. Например, если вы обнаружите, что метка «здоровый» встречается в 1 тыс. Образцов и не встречается в 29 тыс. Образцов, просто используйте вес 29 для примеров с меткой «здоровый» и вес 1 для примеров без метки.

Я не знаю, как бы вы это сделали в VW. Тебе придется в этом разобраться.

В общем, если вы хотите учесть дисбаланс классов в своих тренировочных данных, это означает, что вам нужно перейти на более подходящую функцию потерь. Специально для классового дисбаланса вы хотите изменить функцию потерь на область под кривой ROC. Специально разработан для решения этой проблемы.

Есть версия с несколькими метками, но если вы уже сократили ее до двоичной классификации, она должна работать прямо из коробки.

Вот статья в Википедии, объясняющая эту концепцию более полно.

А вот соответствующая документация по sklearn, которая может оказаться менее полезной. поскольку я не уверен, на каком языке это происходит.