Всем привет! если вы новичок или даже опытный специалист в области машинного обучения (ML)/глубокого обучения (DL), вы наверняка сталкивались с терминами параметры и гиперпараметры. Вы когда-нибудь задумывались, что это такое? Давайте выясним!

Гиперпараметры

Итак, прежде чем углубляться в технические детали, давайте возьмем пример.

Когда мы играем в видеоигры с контроллером, мы используем джойстики для управления движением персонажей в видеоигре. мы заставляем их прыгать, бегать, бежать, приседать и т. д. Гиперпараметры делают то же самое с алгоритмами. Чтобы узнать больше об алгоритмах ML, ознакомьтесь с другими моими статьями.

Гиперпараметры управляют процессом обучения

Выбор правильного гиперпараметра является ключом к оптимизации процесса обучения алгоритма. Вы можете повысить или снизить эффективность алгоритма, используя гиперпараметр. Поэтому важно выбрать правильный. Одна интересная особенность гиперпараметров заключается в том, что их значения устанавливаются еще до того, как модель начинает обучение, и остаются постоянными на протяжении всего процесса обучения. Поэтому мы называем их внешними по отношению к модели.

Итак, давайте посмотрим на некоторые примеры гиперпараметров

  1. Скорость обучения в алгоритме линейной регрессии (альфа): контролирует скорость обучения и определяет значения тета0 и тета1 (в случае одномерной линейной регрессии).
  2. Количество слоев в нейронной сети: установка этого параметра в начале процесса обучения помогает получить лучшие результаты и ускорить процесс обучения.
  3. Определение количества кластеров (k) в алгоритме kNN: Это значение является внешним и устанавливается до начала кластеризации.

Параметры

Представьте, что вы купили новый телефон. Вы можете столкнуться с проблемами удержания батареи в начале. Но обращали ли вы внимание на то, как со временем улучшается резервная батарея? это связано с тем, что ваш телефон со временем запоминает период использования и соответственно распределяет мощность. Это один из таких случаев, когда модель машинного обучения изучает параметры, изменяя их значения и приближая погрешность к нулю.

Параметры — это значения, полученные моделью для уменьшения коэффициента ошибки алгоритма.

Эти значения параметров являются внутренними по отношению к модели и меняются в процессе обучения. В большинстве случаев значения этих параметров рандомизируются перед процессом обучения и оптимизируются в процессе обучения с помощью алгоритмов оптимизации, таких как градиентный спуск. Под оптимизацией подразумевается, что эти параметры настраиваются на определенные значения, при которых ошибка между изученными и фактическими значениями очень минимальна.

Некоторые примеры параметров:

  1. Тета-значения в линейной регрессии
  2. Веса в нейронных сетях

Заключение

В заключение, гиперпараметры определяют и контролируют значения параметров. Это две основные концепции, которые необходимо изучить и понять для эффективного выполнения любого алгоритма машинного обучения. Прокомментируйте ниже любую конкретную тему, которая будет освещена в моих последующих статьях.

Счастливого обучения!