Можно ли сравнить классификационные способности двух наборов признаков по ROC?

Я изучаю SVM и ROC. Насколько мне известно, люди обычно могут использовать кривую ROC (рабочая характеристика приемника), чтобы показать классификационную способность SVM (машины опорных векторов). Мне интересно, могу ли я использовать ту же концепцию для сравнения двух подмножеств функций.

Предположим, у меня есть два подмножества функций, подмножество A и подмножество B. Они выбираются из одних и тех же данных поезда двумя разными методами извлечения признаков, A и B. Если я использую эти два подмножества функций для обучения одной и той же SVM с помощью LIBSVM svmtrain () и построить кривые ROC для них обоих, могу ли я сравнить их классификационные способности по их значениям AUC? Итак, если у меня более высокое значение AUC для подмножества A, чем для подмножества B, могу ли я сделать вывод, что метод A лучше, чем метод B? Есть ли в этом смысл?

Большое тебе спасибо,


person Cassie    schedule 18.10.2012    source источник


Ответы (1)


Да, вы на правильном пути. Однако нужно помнить о нескольких вещах.

  1. Часто использование двух функций A и B с соответствующим масштабированием / нормализацией может дать лучшую производительность, чем функции по отдельности. Таким образом, вы также можете рассмотреть возможность использования функций A и B вместе.
  2. При обучении SVM с использованием функций A и B вы должны оптимизировать для них отдельно, то есть сравнивать лучшую производительность, полученную с помощью функции A, с лучшей, полученной с помощью функции B. Часто функции A и B могут дать наилучшую производительность с разными ядрами и настройками параметров. .
  3. Помимо AUC существуют и другие показатели, такие как F1-score, Средняя средняя точность (MAP), которую можно вычислить после оценки тестовых данных и в зависимости от приложения, которое вы имейте в виду, они могут быть более подходящими.
person bsidd    schedule 23.10.2012
comment
Спасибо, проверю другие возможные метрики. - person Cassie; 25.10.2012