Настройка гиперпараметров играет важную роль в процессе обучения оптимальной модели машинного обучения. В процессе обучения производительность целевой модели оценивается путем мониторинга таких показателей, как значения функции потерь или оценка точности в тестовом/проверочном наборе, на основе чего можно точно настроить гиперпараметры для повышения производительности модели. .

Поиск по сетке против случайного поиска

Среди множества методов настройки гиперпараметров два самых основных и широко используемых — это поиск по сетке и случайный поиск. При поиске по сетке, также известном как поиск методом грубой силы, для оценки создается сетка значений гиперпараметров, которая перечисляет все комбинации гиперпараметров. Недостатком этого подхода является то, что сетка экспоненциально растет с количеством гиперпараметров.

В отличие от поиска по сетке, случайный поиск выбирает для оценки случайные комбинации гиперпараметров, что в одной и той же области позволяет находить конкурентоспособные модели за небольшую часть времени вычисления поиска по сетке. Он может найти оптимальную комбинацию гиперпараметров, эффективно выполняя поиск в более крупном и многомерном конфигурационном пространстве. Кроме того, было также показано, что он достаточно эффективен для обучения нейронных сетей для нескольких наборов данных.

Байесовская оптимизация

Чтобы повысить эффективность процесса настройки гиперпараметров, Последовательная оптимизация на основе моделей (SMBO) используется во многих приложениях, где оценка фитнес-функции является дорогостоящей. Наиболее типичным и широко используемым является байесовская оптимизация. Он ищет наиболее перспективные гиперпараметры в соответствии с суррогатной функцией, которая намного дешевле и проще для оптимизации, и оценивает их с помощью фактической целевой функции.

Пример определения пространства поиска гиперпараметров моделей классификации с помощью HyperOpt:

Эволюционный алгоритм

Эволюционный алгоритм также признан многообещающим подходом к оптимизации для настройки гиперпараметров, особенно эволюционный алгоритм с использованием суррогатной модели. Суррогатные модели, также называемые метамоделями, менее затратны в эксплуатации и позволяют аппроксимировать сложные целевые функции, чтобы воспроизвести эксперименты или выполнить множество повторов собственных экспериментов, не полагаясь на огромные вычислительные ресурсы. Ресурсы.

Вот пример кода для использования Platypus NSGAII для оптимизации гиперпараметров для модели классификации XGBoost и максимизации показателя точности:

Лучшая и быстрая оптимизация с EvoML

Наша платформа Evolutionary AI Optimization — EvoML — позволяет оптимизировать гиперпараметры лучше и быстрее. Помимо базового байесовского эволюционного алгоритма и случайного поиска, EvoML также представляет новый подход — эволюционный алгоритм интеллекта, который интегрирует суррогатную модель в эволюционный алгоритм для дальнейшего сокращения времени настройки гиперпараметров и ускорения сходимости. Этот эффективный процесс позволяет быстрее достичь оптимальной производительности модели с меньшими вычислительными ресурсами.

Если вы хотите узнать больше об улучшении производительности модели, ознакомьтесь с нашим блогом Как сложные модели могут работать быстрее.

об авторе

Юси Хуан | ТуринТех Исследования и Инжиниринг

Увлечен наукой о данных и инженерией, интересуется оптимизационными исследованиями. Любители балета, большие любители классической музыки, путешествий, выпечки, плавания, всегда хотят попробовать что-то новое!

О ТуринТех

TurinTech является лидером в области оптимизации искусственного интеллекта. TurinTech позволяет компаниям создавать эффективный и масштабируемый ИИ, автоматизируя весь жизненный цикл обработки данных с многоцелевой оптимизацией. TurinTech позволяет организациям проводить трансформацию ИИ с минимальными человеческими усилиями, в масштабе и на высокой скорости.

ТуринТех — ИИ. Оптимизировано.

Узнайте больше о TurinTech
Следите за нами в социальных сетях: LinkedIn и Twitter