Введение

Область статистики предоставляет нам множество инструментов, которые можно использовать для достижения цели машинного обучения — решения задачи. Это полезно не только для тренировочного набора, но и для общего обзора. Вводные понятия, такие как оценка параметров, систематическая ошибка и дисперсия, полезны для строгого разграничения идей широкого обзора, недостаточного и чрезмерного соответствия. В этом посте мы узнаем об оценках, предвзятости и дисперсии в машинном обучении.

Описание

Прежде всего, давайте посмотрим на оценку баллов.

Оценка в баллах

В статистике - процедура обнаружения оценочного значения некоторого параметра, например среднего или среднего значения совокупности из случайных выборок совокупности. Правильность какой-либо конкретной оценки точно не установлена. Однако могут быть построены вероятностные утверждения относительно точности таких чисел, созданных в течение нескольких экспериментов.

С точки зрения глубокого обучения, точечная оценка — это попытка сделать доступным единственный лучший прогноз некоторого интересующего количества. Это интересующее количество может быть единственным параметром. Это может быть вектор параметров как веса в линейной регрессии и полная функция.

Для отличия оценок параметров от их истинного значения точечная оценка параметра θ обозначается ˆ θ.

Пусть {x(1) , x(2) ,..x (m) } будет m независимыми и одинаково распределенными точками данных. В то время точечная оценка или статистика представляет собой любую функцию данных.

ˆ θ m = g(x(1) ,…x(m) )

Следовательно, статистика — это любая функция данных. Это требует, чтобы не быть близким к истинному θ. Наилучшей оценкой является функция, результат которой близок к фактическому значению θ, лежащему в основе данных. Примем, что истинное значение параметра θ фиксировано, а с другой стороны неизвестно. Несмотря на то, что точечная оценка θˆ является функцией данных. Между тем, данные взяты из случайного процесса. Некоторая функция данных является случайной. По этой причине θˆ является случайной величиной.

Оценка функции

Точечная оценка может также указывать оценку связи между входными и целевыми переменными. Мы говорим об этих типах точечных оценок как об оценках функций. Упомянутая здесь как оценка функции, мы предсказываем переменную y при заданных входных данных x. Мы принимаем f(x) как отношение между x и y. Мы можем предположить, что y=f(x) +ε. Здесь ε обозначает часть y, которую нельзя предсказать по x. Нас интересует аппроксимация f с помощью модели. Оценка функции аналогична оценке параметра θ. Где ˆf — точечная оценка в функциональном пространстве. Мы аналогичным образом оцениваем параметр w или оцениваем отображение функции от x до y в полиномиальной регрессии.

Свойства точечных оценок

Смещение и дисперсия являются наиболее часто изучаемыми свойствами точечных оценок. Они уведомляют нас об оценщиках. Смещение оценщика — это разница между его оценками и правильными значениями в данных. Естественно, это мера того, насколько близка или далека оценка от фактических точек данных. То, что оценщик пытается оценить. Все эти модели будут обучаться на разных выборках Xᵢ, Yᵢ для фактических данных. Это привело к тому, что их параметры принимают разные значения θ в предложении объяснить, подобрать и оценить этот конкретный образец лучше всего.

Смещение оценщика

  • Смещение оценки для параметра θ четко определено как;

смещение ˆ θ( m ) = E ˆ θ m ⎡ ⎣ ⎤ ⎦ − θ

  • Оценка является несмещенной, если смещение (ˆ θ m )=0, что означает, что;

E ⎣ ˆ θ m ⎦ = θ

  • Оценка асимптотически несмещена, если

lim m→∞ смещение ˆ θ ( m) = 0

Дисперсия и стандартная ошибка

Еще одно свойство оценщика заключается в том, насколько, по нашему воображению, оценщик будет отличаться в зависимости от выборки данных. Поскольку мы вычислили вероятность того, что оценщик определит свое смещение, мы можем вычислить его дисперсию. Дисперсия оценщика - это просто Var(), где случайная величина - это обучающий набор. Квадратный корень из дисперсии называется стандартной ошибкой, обозначаемой SE( ).

Важность стандартной ошибки

Он касается того, как мы ожидаем, что оценка будет отличаться, поскольку мы получаем разные выборки из одного и того же распределения. Мы можем определить стандартную ошибку среднего как;

  • Где σ2 — фактическая дисперсия выборок x(i)
  • Стандартная ошибка часто оценивается с использованием оценки σ
  • Хотя и не беспристрастно, приближение разумно.
  • Стандартное отклонение представляет собой меньшую величину и занижает оценку дисперсии.

Стандартная ошибка в машинном обучении

Мы неоднократно оцениваем ошибку обобщения, вычисляя ошибку на тестовом наборе. В тестовом наборе есть несколько образцов, определяющих его точность. Между тем среднее значение будет нормально распределено, так как согласно центральной предельной теореме мы можем вычислить вероятность того, что истинное ожидание попадает в любой выбранный интервал. Например, 95-процентный доверительный интервал с центром в среднем равен

Алгоритм машинного обучения A лучше, чем алгоритм машинного обучения B, если верхняя граница A меньше нижней границы B.

Доверительные интервалы для ошибки

Погрешность говорит нам, на сколько процентов наши результаты будут отличаться от реального значения населения. Например, 95-процентные доверительные интервалы с 4-процентной погрешностью означают, что наша статика будет в пределах 4 процентных пунктов от реального значения генеральной совокупности в 95 процентах случаев.

Компромиссная предвзятость и дисперсия

Смещение и дисперсия измеряют две различные базы ошибок оценки. Смещение измеряет расчетное отклонение от фактического значения функции или параметра. Дисперсия дает меру ожидаемого отклонения, которое может вызвать любая конкретная выборка данных.

Вывод

В этом посте мы обнаружили смещение, дисперсию и компромисс между смещением и дисперсией для алгоритмов машинного обучения. Теперь мы знаем, что:

  • Смещение — это упрощающие предположения, сделанные моделью, чтобы упростить аппроксимацию целевой функции.
  • Дисперсия — это величина, на которую изменится оценка целевой функции при различных обучающих данных.
  • Компромисс — это напряжение между ошибкой, вызванной смещением, и дисперсией.