Я пытаюсь использовать метрику hmeasure Hand, 2009 в качестве настраиваемой метрики для обучения SVM работе с курсором. Поскольку я относительно новичок в использовании R, я попытался адаптировать функцию twoClassSummary. Все, что мне нужно, это передать истинные метки классов и прогнозируемую вероятность класса из модели (svm) в функцию HMeasure из пакета hmeasure вместо использования ROC или других показателей эффективности классификации в каретке.
Например, вызов функции HMeasure в R - HMeasure (true.class, predictedProbs [, 2]) - приводит к вычислению Hmeasure. Использование приведенной ниже адаптации кода twoClassSummary приводит к возврату ошибки: «x» должно быть числовым.
Возможно, эта функция поезда не может «видеть» предсказанные вероятности для оценки функции HMeasure. Как я могу это исправить?
Я прочитал документацию и связанные вопросы, заданные на SO о регрессии < / а>. Это немного помогло мне. Буду благодарен за любую помощь или указатели на решение.
library(caret)
library(doMC)
library(hmeasure)
library(mlbench)
set.seed(825)
data(Sonar)
table(Sonar$Class)
inTraining <- createDataPartition(Sonar$Class, p = 0.75, list = FALSE)
training <- Sonar[inTraining, ]
testing <- Sonar[-inTraining, ]
# using caret
fitControl <- trainControl(method = "repeatedcv",number = 2,repeats=2,summaryFunction=twoClassSummary,classProbs=TRUE)
svmFit1 <- train(Class ~ ., data = training,method = "svmRadial",trControl = fitControl,preProc = c("center", "scale"),tuneLength = 8,metric = "ROC")
predictedProbs <- predict(svmFit1, newdata = testing , type = "prob")
true.class<-testing$Class
hmeas<- HMeasure(true.class,predictedProbs[,2]) # suppose its Rocks we're interested in predicting
hmeasure.probs<-hmeas$metrics[c('H')] # returns the H measure metric
hmeasureCaret<-function (data, lev = NULL, model = NULL,...)
{
# adaptation of twoClassSummary
require(hmeasure)
if (!all(levels(data[, "pred"]) == levels(data[, "obs"])))
stop("levels of observed and predicted data do not match")
#lev is a character string that has the outcome factor levels taken from the training data
hObject <- try(hmeasure::HMeasure(data$obs, data[, lev[1]]),silent=TRUE)
hmeasH <- if (class(hObject)[1] == "try-error") {
NA
} else {hObject$metrics[[1]] #hObject$metrics[c('H')] returns a dataframe, need to return a vector
}
out<-hmeasH
names(out) <- c("Hmeas")
#class(out)
}
environment(hmeasureCaret) <- asNamespace('caret')
Нерабочий код ниже.
ctrl <- trainControl(method = "cv", summaryFunction = hmeasureCaret,classProbs=TRUE,allowParallel = TRUE,
verboseIter=TRUE,returnData=FALSE,savePredictions=FALSE)
set.seed(1)
svmTune <- train(Class.f ~ ., data = training,method = "svmRadial",trControl = ctrl,preProc = c("center", "scale"),tuneLength = 8,metric="Hmeas",
verbose = FALSE)