ссылка на каретку + gbm + ROC

Я пытаюсь использовать функцию rfe из пакета Caret, но не могу заставить ее работать с моделью gbm, используя метрику ROC.

Я нашел некоторые идеи там:

Выбор функции в каретке rfe + сумма с ROC

http://www.cybaea.net/Blogs/Feature-selection-Using-the-caret-package.html

Я закончил с этим фрагментом кода:

gbmFuncs <- treebagFuncs
gbmFuncs$fit <- function (x, y, first, last, ...) {
  library("gbm")
  n.levels <- length(unique(y))
  if ( n.levels == 2 ) {
    distribution = "bernoulli"
  } else {
    distribution = "gaussian"
  }
  gbm.fit(x, y, distribution = distribution, ...)
}
gbmFuncs$pred <- function (object, x) {
  n.trees <- suppressWarnings(gbm.perf(object,
                                       plot.it = FALSE,
                                       method = "OOB"))
  if ( n.trees <= 0 ) n.trees <- object$n.trees
  predict(object, x, n.trees = n.trees, type = "link")
}

control <- rfeControl(functions = gbmFuncs, method = "cv", verbose = TRUE, returnResamp="final", 
                  number = 5)
trainctrl <- trainControl(classProbs= TRUE,
                          summaryFunction = twoClassSummary)

gbmFit_bernoulli_sel <- rfe(data_model[x, -as.numeric(y)+2,
                            sizes=c(10, 15, 20, 30, 40, 50), rfeControl = control, verbose = FALSE,
                        interaction.depth = 14, n.trees = 10000, shrinkage = .01, metric="ROC", 
                        trControl = trainctrl)

Но я получаю эту ошибку:

Error in { : 
  task 1 failed - "argument inutilisé (trControl = list(method = "boot", number = 25, repeats = 25, p = 0.75, initialWindow = NULL, horizon = 1, fixedWindow = TRUE, verboseIter = FALSE, returnData = TRUE, returnResamp = "final", savePredictions = FALSE, classProbs = TRUE, summaryFunction = function (data, lev = NULL, model = NULL) 
{
    require(pROC)
    if (!all(levels(data[, "pred"]) == levels(data[, "obs"]))) stop("levels of observed and predicted data do not match")
rocObject <- try(pROC::roc(data$obs, data[, lev[1]]), silent = TRUE)
rocAUC <- if (class(rocObject)[1] == "try-error") NA else rocObject$auc
out <- c(rocAUC, sensitivity(data[, "pred"], data[, "obs"], lev[1]), specificity(data[, "pred"], data[, "obs"], lev[2]))
names(out) <- c("ROC", "Sens", "Spec")
out

ИЗМЕНИТЬ

Работайте с этим кодом:

caretFuncs$summary <- twoClassSummary
controlrfe <- rfeControl(functions = caretFuncs, method = "cv", number = 3, verbose = TRUE)
gbmGrid <- expand.grid(interaction.depth = 5, n.trees = 1000, shrinkage = .01)
confroltrain <- trainControl(method = "none", classProbs=T, summaryFunction =     twoClassSummary, verbose = TRUE)
gbmFit_bernoulli_sel <- rfe(data_model[,-ncol(data_model)], data_model[,ncol(data_model)],
                            sizes=c(10,15), rfeControl = controlrfe, metric="ROC",
                            trControl = confroltrain, tuneGrid=gbmGrid, method="gbm")

Мне пришлось использовать функцию обучения, потому что, когда я использовал gbmFuncs, у меня возникла проблема, очевидно, потому что gbm.fit нужна числовая целевая переменная, а для оценки метрики ROC нужен фактор.

Спасибо за помощь.


person Alex    schedule 29.04.2014    source источник


Ответы (1)


Вы пытаетесь передать trControl gbm.fit. Соедините (три) точки =]

Попробуйте удалить trControl = trainctrl.

Максимум

person topepo    schedule 30.04.2014