SMOTE in r значительно уменьшает размер выборки

Вам нужно немного поиграть с двумя параметрами, доступными из функции: perc.over и perc.under.

Согласно документу от SMOTE:

Параметры perc.over и perc.under управляют количеством избыточной выборки класса меньшинства и недостаточной выборки классов большинства соответственно.

So:

perc.over обычно будет числом выше 100. С этим типом значений для каждого наблюдения в исходном наборе данных, принадлежащем классу меньшинства, будет создано perc.over/100 новых примеров этого класса.

Я не вижу ваших данных, но если ваш класс меньшинства имеет 100 случаев и perc.over=100, алгоритм сгенерирует 100/100 = 1 новых случаев из этого класса.

Параметр perc.under управляет долей наблюдений мажоритарного класса, которые будут случайным образом выбраны для окончательного «сбалансированного» набора данных. Эта пропорция рассчитывается по отношению к количеству вновь созданных дел класса меньшинства.

Так, например, значение perc.under=100 будет выбирать из класса большинства исходных данных такое же количество наблюдений, которое было сгенерировано для класса меньшинства.

В нашем примере был сгенерирован только 1 новый случай, поэтому он добавит еще один, в результате чего будет создан новый набор данных с 2 наблюдениями.

Я предлагаю использовать значения выше 100 для perc.over и даже более высокие значения для perc.under (по умолчанию 100 и 200).

Имейте в виду, что вы добавляете новые наблюдения, которые не являются реальными в вашем классе меньшинства, я постараюсь держать их под контролем.

Числовой пример:

set.seed(123)

data <- data.frame(var1 = sample(50),
                   var2 = sample(50),
                   out = as.factor(rbinom(50, 1, prob=0.1)))

table(data$out)
#  0  1 
# 43  7 # 50 rows total (original data)
smote_data <- DMwR::SMOTE(out ~ var1, data, perc.over = 200, perc.under = 400)
table(smote_data$out)
#  0  1 
# 56 21 # 77 rows total (smote data)

Альтернативой пакету DMwR является пакет smotefamily, который не уменьшает размер выборки.

Вместо этого он создает дополнительные данные (= синтезированные данные) из класса меньшинства и добавляет их к исходным данным. Итак, вывод в аргументе $data готов к обучению. Чтобы настроить количество синтезируемых данных, вы можете изменить параметр dup_size. Однако значение по умолчанию dup_size = 0 уже оптимизирует вывод для достижения сбалансированных классов, поэтому его не нужно настраивать.

Это подробно объясняется в этом сообщении в блоге Ричарда Ричарда.

Пример кода (с функциями в первых двух столбцах):

smote1 <- smotefamily::SMOTE(features, target, K = 4, dup_size = 0)
formula1 <- "class ~ ." %>% as.formula
model.smote <- caret::train(formula1, method = "rpart", smote1$data)
predictions.smote <- predict(model.smote, smote1$data[,1:2]) %>% print
cv2 <- confusionMatrix(smote1$data$class %>% as.factor, predictions.smote)

Я нахожу smotefamily::SMOTE более удобным, потому что вам не нужно настраивать два параметра perc_over и perc_under, пока вы не получите приемлемый размер выборки, а DMwR::SMOTE часто генерирует значения NA.

Я знаю, что слишком поздно ответить на ваш вопрос, но надеюсь, что этот ответ поможет другим! Вы используете пакет DMwR, который использует комбинацию SMOTE и недостаточной выборки большинства классов.