Оптимальная оценка параметров для классификатора с несколькими параметрами

Я собираюсь немного расширить предыдущий ответ aberger о поиске по сетке. Как и при любой настройке модели, лучше всего оптимизировать гиперпараметры, используя одну часть данных, и оценивать эти параметры, используя другую часть данных, поэтому GridSearchCV лучше всего подходит для этой цели.

Сначала я создам некоторые данные и разделю их на обучение и тестирование.

import numpy as np
from sklearn import model_selection, ensemble, metrics

np.random.seed(42)

X = np.random.random((5000, 10))
y = np.random.randint(0, 2, 5000)

X_train, X_test, y_train, y_test = model_selection.train_test_split(X, y, test_size=0.3)

Это создает проблему классификации, которую, я думаю, вы описываете, хотя то же самое применимо и к проблемам регрессии.

Теперь полезно подумать, какие параметры вы, возможно, захотите оптимизировать. Поиск по сетке с перекрестной проверкой - это дорогостоящий вычислительный процесс, поэтому чем меньше пространство поиска, тем быстрее он выполняется. Я покажу пример для RandomForestClassifier, потому что это моя модель.

clf = ensemble.RandomForestClassifier()    
parameters = {'n_estimators': [10, 20, 30],
              'max_features': [5, 8, 10],
              'max_depth': [None, 10, 20]}

Итак, теперь у меня есть базовая оценка и список параметров, которые я хочу оптимизировать. Теперь мне просто нужно подумать о том, как я хочу оценивать каждую из моделей, которые я собираюсь построить. Из вашего вопроса видно, что вас интересует ROC AUC, поэтому я буду использовать его в этом примере. Хотя вы можете выбрать из множества метрик по умолчанию в scikit или даже определить свои собственные.

gs = model_selection.GridSearchCV(clf, param_grid=parameters,
                                  scoring='roc_auc', cv=5)
gs.fit(X_train, y_train)

Это будет соответствовать модели для всех возможных комбинаций параметров, которые я ей дал, используя 5-кратную перекрестную проверку, чтобы оценить, насколько хорошо эти параметры работают с использованием ROC AUC. Как только это будет выполнено, мы сможем посмотреть на лучшие параметры и выбрать модель с наилучшими характеристиками.

print gs.best_params_
clf = gs.best_estimator_

Выходы:

{'max_features': 5, 'n_estimators': 30, 'max_depth': 20}

Теперь на этом этапе вы можете захотеть переобучить свой классификатор на всех обучающих данных, поскольку в настоящее время он обучен с использованием перекрестной проверки. Некоторые предпочитают не делать этого, но я переучиваюсь!

clf.fit(X_train, y_train)

Итак, теперь мы можем оценить, насколько хорошо модель работает как на нашем обучающем, так и на тестовом наборе.

print metrics.classification_report(y_train, clf.predict(X_train))
print metrics.classification_report(y_test, clf.predict(X_test))

Выходы:

             precision    recall  f1-score   support

          0       1.00      1.00      1.00      1707
          1       1.00      1.00      1.00      1793

avg / total       1.00      1.00      1.00      3500

             precision    recall  f1-score   support

          0       0.51      0.46      0.48       780
          1       0.47      0.52      0.50       720

avg / total       0.49      0.49      0.49      1500

Мы видим, что эта модель перетренировалась из-за плохой оценки на тестовом наборе. Но это неудивительно, ведь данные представляют собой всего лишь случайный шум! Надеюсь, что при применении этих методов к данным с сигналом вы получите хорошо настроенную модель.

ИЗМЕНИТЬ

Это одна из тех ситуаций, когда «все делают это», но нет четких указаний на то, что это лучший способ сделать это. Я бы посоветовал поискать пример, близкий к проблеме классификации, над которой вы работаете. Например, используя Google Scholar для поиска по запросу "поиск по сетке", "SVM" "экспрессия гена"

Мне кажется, что мы говорим о Grid Search в scikit-learn. Он (1) предоставляет методы для оценки оптимальных (гипер) параметров, а (2) реализован в очень популярном и хорошо известном статистическом программном пакете.