Всем привет! если вы новичок или даже опытный специалист в области машинного обучения (ML)/глубокого обучения (DL), вы наверняка сталкивались с терминами параметры и гиперпараметры. Вы когда-нибудь задумывались, что это такое? Давайте выясним!
Гиперпараметры
Итак, прежде чем углубляться в технические детали, давайте возьмем пример.
Когда мы играем в видеоигры с контроллером, мы используем джойстики для управления движением персонажей в видеоигре. мы заставляем их прыгать, бегать, бежать, приседать и т. д. Гиперпараметры делают то же самое с алгоритмами. Чтобы узнать больше об алгоритмах ML, ознакомьтесь с другими моими статьями.
Гиперпараметры управляют процессом обучения
Выбор правильного гиперпараметра является ключом к оптимизации процесса обучения алгоритма. Вы можете повысить или снизить эффективность алгоритма, используя гиперпараметр. Поэтому важно выбрать правильный. Одна интересная особенность гиперпараметров заключается в том, что их значения устанавливаются еще до того, как модель начинает обучение, и остаются постоянными на протяжении всего процесса обучения. Поэтому мы называем их внешними по отношению к модели.
Итак, давайте посмотрим на некоторые примеры гиперпараметров
- Скорость обучения в алгоритме линейной регрессии (альфа): контролирует скорость обучения и определяет значения тета0 и тета1 (в случае одномерной линейной регрессии).
- Количество слоев в нейронной сети: установка этого параметра в начале процесса обучения помогает получить лучшие результаты и ускорить процесс обучения.
- Определение количества кластеров (k) в алгоритме kNN: Это значение является внешним и устанавливается до начала кластеризации.
Параметры
Представьте, что вы купили новый телефон. Вы можете столкнуться с проблемами удержания батареи в начале. Но обращали ли вы внимание на то, как со временем улучшается резервная батарея? это связано с тем, что ваш телефон со временем запоминает период использования и соответственно распределяет мощность. Это один из таких случаев, когда модель машинного обучения изучает параметры, изменяя их значения и приближая погрешность к нулю.
Параметры — это значения, полученные моделью для уменьшения коэффициента ошибки алгоритма.
Эти значения параметров являются внутренними по отношению к модели и меняются в процессе обучения. В большинстве случаев значения этих параметров рандомизируются перед процессом обучения и оптимизируются в процессе обучения с помощью алгоритмов оптимизации, таких как градиентный спуск. Под оптимизацией подразумевается, что эти параметры настраиваются на определенные значения, при которых ошибка между изученными и фактическими значениями очень минимальна.
Некоторые примеры параметров:
- Тета-значения в линейной регрессии
- Веса в нейронных сетях
Заключение
В заключение, гиперпараметры определяют и контролируют значения параметров. Это две основные концепции, которые необходимо изучить и понять для эффективного выполнения любого алгоритма машинного обучения. Прокомментируйте ниже любую конкретную тему, которая будет освещена в моих последующих статьях.
Счастливого обучения!