Есть ли способ выполнить гиперпараметрическую оптимизацию поиска по сетке на One-Class SVM

Я столкнулся с той же проблемой и нашел этот вопрос в поисках решения. В итоге я нашел решение, использующее GridSearchCV, и оставляю этот ответ для всех, кто ищет и находит этот вопрос.

Параметр cv класса GridSearchCV может принимать значение его входной итеративный результат (поезд, тест) разбивается на массивы индексов. Вы можете сгенерировать разбиения, которые используют только данные из положительного класса в тренировочных свертках, а оставшиеся данные из положительного класса плюс все данные из отрицательного класса в тестовых свертках.

Вы можете использовать sklearn.model_selection.KFold, чтобы разделить

from sklearn.model_selection import KFold

Предположим, что Xpos - это массив данных nXp numpy для положительного класса для OneClassSVM, а Xneg - массив данных mXp для известных аномальных примеров.

Сначала вы можете сгенерировать разбиения для Xpos, используя

splits = KFold(n_splits=5).split(Xpos)

Это создаст генератор кортежей формы (train, test), где train - это массив чисел типа int, содержащий индексы для примеров в обучающей свертке, а test - массив чисел, содержащий индексы для примеров в свертке теста.

Затем вы можете объединить Xpos и Xneg в один набор данных, используя

X = np.concatenate([Xpos, Xneg], axis=0)

OneClassSVM будет делать прогноз 1.0 для примеров, которые, по его мнению, относятся к положительному классу, и прогноз -1.0 для примеров, которые он считает аномальными. Мы можем делать метки для наших данных, используя

y = np.concatenate([np.repeat(1.0, len(Xpos)), np.repeat(-1.0, len(Xneg))])

Затем мы можем создать новый генератор (train, test) разбиений с индексами для аномальных примеров, включенных в тестовые свертки.

n, m = len(Xpos), len(Xneg)

splits = ((train, np.concatenate([test, np.arange(n, n + m)], axis=0)
          for train, test in splits)

Затем вы можете передать эти разбиения в GridSearchCV, используя данные X, y и любой метод подсчета очков и другие параметры, которые вам нужны.

grid_search = GridSearchCV(estimator, param_grid, cv=splits, scoring=...)

Изменить: я не заметил, что этот подход был предложен в комментариях к другому ответу Вивека Кумара, и что ОП отклонил его, потому что они не верили, что он будет работать с их методом выбор оптимальных параметров. Я по-прежнему предпочитаю описанный мною подход, потому что GridSearchCV автоматически обрабатывает многопроцессорность и обеспечивает обработку исключений и информативные предупреждения и сообщения об ошибках.

Он также гибок в выборе метода подсчета очков. Вы можете использовать несколько методов оценки, передав строки сопоставления словаря в вызываемые объекты оценки и даже определить пользовательские вызываемые объекты оценки. Это описано в документации Scikit-learn здесь. Индивидуальный метод выбора лучших параметров, вероятно, может быть реализован с помощью специальной функции оценки. Все метрики, используемые OP, могут быть включены с использованием словарного подхода, описанного в документации.

Вы можете найти реальный пример здесь . Я сделаю заметку, чтобы изменить ссылку, когда она будет объединена с мастером.

Да, есть способ поиска по гиперпараметрам без перекрестной проверки входных данных. Этот метод называется ParameterGrid() и хранится в sklearn.model_selection. Вот ссылка на официальную документацию:

http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.ParameterGrid.html

Ваш случай может выглядеть следующим образом:

grid = {'gamma' : np.logspace(-9, 3, 13),
        'nu' : np.linspace(0.01, 0.99, 99)}

Чтобы подтвердить все возможные шаги с помощью сетки, вы можете ввести list(ParameterGrid(grid)). Мы также можем проверить его длину с помощью len(list(ParameterGrid(grid))), что в сумме дает 1287 и, следовательно, 1287 моделей, которые подходят для данных поезда.

Чтобы использовать метод, вам обязательно понадобится цикл for. Подразумевая, что у вас есть переменная clf, поскольку вы импортировали одноклассную SVM из sklearn.svm, цикл будет выглядеть примерно так:

for z in ParameterGrid(grid):
    clf.set_params(**z)
    clf.fit(X_train, y_train)
    clf.predict(X_test)
    ...

Надеюсь, этого достаточно. Не забывайте, что имена в сетке должны быть согласованы с параметром одноклассной SVM. Чтобы получить имена этих параметров, вы можете набрать clf.get_params().keys(), и там вы увидите «гамма» и «ню».