Регрессия: проблема предсказания скалярного значения

В области машинного обучения много проблем. Просто проблемы можно разделить на две категории: классификация и регрессия.

  • предсказать, что это кошка, собака или какое-либо другое животное по изображению, является проблемой классификации
  • прогнозирование цены дома и температуры - проблема регрессии

Пример регрессии представлен здесь.

Формулировка regression problem

Как мы знаем, четко определенная задача машинного обучения должна включать в себя эти элементы.

  1. Цель, которую необходимо предсказать
  2. Предоставленная информация для прогнозирования цели. мы можем использовать матрицы и значение каждого измерения для представления предоставленной информации

Для математического языка мы будем говорить:

  1. одна матрица формы m×k и каждое значение размера k
  2. одна матрица формы m×1, и единица измерения цены

Отображение информации о доме в цену дома

Текущая цель — найти сопоставление, которое может сопоставить информацию измерения k с одним ценовым измерением, а в то же время результат сопоставления может быть максимально приближен к реальной цене. Сопоставление может быть очень сложным, обратите внимание на число измерения k как [x₁, x₂…,x𝒌], а целевая цена — y.

  1. Предположим, что карта представляет собой сложную комбинацию [x₁, x₂…,x𝒌], вот пример: y=2×x₁×x₂+x₃×x₃+5×x₄+(x₅ )⁴+…8,9×x𝒌
  2. Отображение также может быть очень простым. это может быть линейная комбинация [x₁, x₂…,x𝒌]. например y = 5,4×x₁+3,8×x₂+2,2×x₃…5,5×x𝒌

Если отображение является линейной комбинацией, оно может быть выражено умножением матриц. как в приведенном выше примере, у нас может быть коэффициент [5.4, 3.8, 2.2, … 5.5], отображение может быть выражено как произведение двух матриц, одна из которых имеет форму 1×k ,[x₁, x₂…,x𝒌], другой имеет форму k×1,цена будет сгенерирована после умножения.

Как измерить эффективность нашей матрицы коэффициентов? Насколько наша прогнозируемая цена близка к реальной цене? Как нам нравится наша матрица коэффициентов?

Если у нас есть mэкземпляров домов в обучающей выборке, мы можем перенести информацию о mдомах в их цены, матрицу формы m×1.

Y'=X×w，X — информационная матрица дома, имеющая форму m×k, w - матрица коэффициентов, она имеет форму k×1, Y' будет иметь форму m×1, матрица цен.

Затем прогнозируемые цены можно сравнить с реальными ценами, чтобы измерить эффективность нашей матрицы коэффициентов.

Эффективность коэффициента можно измерить как переменную cost: чем меньше cost, тем лучше производительность.

Возьмем пример, где есть только один экземпляр [1, 4, 4, 4565] и матрица коэффициентов [w₀,w₁,w₂,w₃].

y’=w₀×1+w₁×4+w₂×4+w₃×4565

cost(y’,y)=|y’-y|=|y’-2890|=|w₀×1+w₁×4+w₂×4+w₃×4565–2890|

Резюме

Расчет стоимости можно упростить как операцию умножения матриц. cost =𝐼×|X×w-Y|,𝐼 — единичная матрица формы 1×m. В уравнении 𝐼, X и Y заданы числа. Самый простой способ найти наилучший wсвести наши затраты к минимуму — это попробовать все возможности. Тогда вы найдете тот, который может сделать стоимость наименьшей.

Другой способ состоит в том, чтобы дифференцировать cost по отношению к w,результат подскажет вам, как изменить w, чтобы сделать costнемного меньше. Вы можете выбрать wслучайно и таким образом оптимизировать его. Вы найдете лучшее, wчтобы сделать затраты наименьшими, но иногда вы потерпите неудачу. Это содержание оптимизации, я могу объяснить это позже.