Предисловие
Машинное обучение можно начать разными способами, самый популярный - из того, что преподавал Эндрю Нг в Стэнфорде, и его можно найти на coursera.org. Входными данными машинного обучения являются данные, и данные имеют аспект случайности по своей природе, поэтому язык вероятностей можно использовать для описания наших данных и решения проблемы машинного обучения. Я сделал пример определения пола по длине волос, чтобы продемонстрировать, как решить задачу классификации с использованием вероятности.
Гауссово распределение
У мужчин и женщин волосы могут быть разной длины по многим причинам. но в целом у женщин всегда волосы длиннее, чем у мужчин, как мы можем точно описать истину математическим языком? В принципе, мы можем предположить, что распределение длины волос у женщин и длин волос мужчин является распределением по Гауссу, а средняя длина волос у женщин больше, чем у мужчин. μ₀ и μ₁ можно использовать для описания среднего значения распределения для женщин и для мужчин соответственно. 𝜎₀ и 𝜎₁ могут быть двумя стандартными отклонениями.
Таким образом, функция плотности вероятности распределения длины волос у женщин равна
Аналогичным образом можно написать и мужские.
Формализовать проблему классификации
Проблема классификации: как предсказать пол по длине волос человека 𝑥₀. Проблема может быть описана на языке вероятностей, P (Y = 0 | X = 𝑥₀) и P (Y = 1 | X = 𝑥₀), какой из них больше один. Y = 0 означает, что это женщина, Y = 1 означает, что это мужчина.
Для P (Y = 0 | X = 𝑥₀) его можно расширить с помощью определения условной вероятности:
Вышеупомянутый процесс игнорирует P (X = 𝑥₀), потому что при сравнении P (Y = 0 | X = 𝑥₀) и P (Y = 1 | X = 𝑥₀)), оба имеют одинаковый знаменатель P (X = 𝑥₀).
Для P (Y = 1 | X = 𝑥₀) его также можно развернуть таким же образом
Чтобы сравнить их, полезно разделение. Переменную t можно получить, разделив одну на одну,
Если t ›1, мы знаем, что это женщина, в противном случае это мужчина.
Тренировочный процесс
Основываясь на данных обучения для длины волос женщин и мужчин, используется метод оценки максимального правдоподобия для оценки аргументов гауссовского распределения волос у женщин и у мужчин. Затем t можно рассчитать с учетом двух распределений Гаусса.
P (X = 𝑥₀ | Y = 0) = 𝚫𝑥 f₀ (𝑥₀), 𝚫𝑥 - очень маленькое число, умножив 𝚫𝑥 на плотность вероятности, мы можем получить вероятность женщины носят волосы примерно 𝑥₀ длины. Таким же образом P (X = 𝑥₀ | Y = 1) = 𝚫𝑥 f₀ (𝑥₀).
Следовательно
Приведу пример, чтобы продемонстрировать, как тренировать наш классификатор.
С помощью метода оценки максимального правдоподобия аргумент для каждого гауссовского распределения может быть разрешен.
Аргумент мужского распределения волос также можно рассчитать с помощью данного набора данных.
Оставшаяся вероятность
Затем для каждого 𝑥₀ мы можем вычислить t, чтобы определить его пол.
t - унарная функция, относящаяся к 𝑥₀. Для лучшего понимания функции я рисую картинку. Из рисунка видно, что когда 𝑥₀ больше числа от 12,5 до 15, t всегда больше 1, это означает, что этим человеком всегда являются женщины.
Подробный анализ проблемы
Основываясь на них, мы можем проанализировать ошибку, относящуюся к категории мужчин, если задана длина волос у женщин, и ошибку классификации как женщин, если учесть длину волос у мужчин. Чтобы описать одну из двух ошибок, можно настроить функцию t. По этому поводу вы можете обратиться к материалам книги Распознавание образов, в которой эти концепции четко и исчерпывающе объясняются.
