Я работаю над созданием модели с использованием пакета MLR контролируемыми методами. Шаги, которые я выполнил,
1) Очистил данные
2) Применил выбор признаков (выбор признаков на основе корреляции)
3) Сделал прогноз с использованием пакета MLR
library(mlr)
mlr_data <- as.data.frame(scale(df_allF[,res.cfs]))
mlr_data$label <- factor(df_allF$label)
NAN_col <- sapply(mlr_data, function(x) all(is.nan(x)))
mlr_data <- mlr_data[,!NAN_col]
task <- makeClassifTask(data = mlr_data,target = "label")
task <- normalizeFeatures(task,method = "standardize")
lrn = makeLearner("classif.rpart", predict.type = "prob")
rdesc = makeResampleDesc("LOO")
rin = makeResampleInstance(rdesc, task)
#Search for hyperparameters
ps <- makeParamSet(
makeIntegerParam("minsplit",lower = 10, upper = 50),
makeIntegerParam("minbucket", lower = 5, upper = 50),
makeNumericParam("cp", lower = 0.001, upper = 0.2)
)
ctrl1 = makeTuneControlRandom(tune.threshold = TRUE)
lrn1 = tuneParams(lrn, resampling = rdesc,task = task, measures = acc, par.set = ps, control = ctrl1)
rpart.tree <- setHyperPars(lrn, par.vals = lrn1$x)
t.rpart <- train(rpart.tree, task)
getLearnerModel(t.rpart)
tpmodel <- predict(t.rpart, task)
cat("\nConfusion Matrix before setting Threshold:\n ")
calculateConfusionMatrix(tpmodel)
threshold.update <- lrn1$threshold
tpmodel <- setThreshold(tpmodel,threshold.update)
cat("\nConfusion Matrix after setting Threshold:\n ")
calculateConfusionMatrix(tpmodel)
cat("\nMeasures : ")
m1 <- performance(tpmodel, acc)
m2 <- measureF1(tpmodel$data$truth,tpmodel$data$response,"Healthy")
cat("F1 = ",m2,"Accuracy = ",m1)
Результаты F1 и Точность при
Набор данных со всеми функциями
F1 = 0,923, точность = 0,928
Набор данных с выбранными функциями (CFS)
F1 = 0,863, точность = 0,857
Набор данных с выбранными функциями с использованием сбора информации
F1 = 0,8947, точность = 0,904
Здесь результаты не улучшаются. Весь набор данных состоит из 154 функций и 42 столбцов.
У меня есть решение или причина для этого? Я пробовал большую часть метода выбора функций. Но никаких улучшений.
