Моя последняя заметка посвящена особому типу обучения без учителя, который называется кластеризацией K-средних. На этой неделе мы рассмотрим, как можно использовать уникальный тип обучения с учителем для обнаружения аномалий.

Для чего можно использовать обнаружение аномалий?

Обнаружение аномалий можно использовать для выявления неисправных деталей в производстве, обнаружения случаев мошенничества в сфере финансовых услуг или обнаружения недостоверного поведения пользователей на веб-сайтах. Другими словами, его можно использовать для определения того, что что-то «не нормально», даже если вы еще не знаете, как выглядит «ненормально».

Как работает обнаружение аномалий?

Чтобы разработать алгоритм обнаружения аномалий, вы настраиваете свои данные немного иначе, чем для обычного контролируемого обучения. Вместо того, чтобы включать положительные и отрицательные примеры в обучающий набор, вы поместите все положительные примеры (т. нормальные примеры) в вашем тренировочном наборе.

При создании набора данных вам нужно выбрать функции, которые могут указывать на аномалию (например, сколько времени пользователь проводит на каждой странице веб-сайта). Это особенно полезно, если вы можете выбрать функции, которые имеют очень большие или очень маленькие значения в случае аномалии.

Затем вы будете обучать свою модель, подгоняя параметры функции плотности вероятности (например, гауссовского распределения) к вашему обучающему набору отрицательных примеров (т. е. неаномальным «обычные» примеры).

Затем для нового примера вы будете использовать модель для расчета вероятности появления этого примера в вашем распределении "нормальных" примеров.

Если вероятность ниже определенного уровня (представленного переменной ε), ваша модель классифицирует ее как аномалию. Вы можете настроить ε в зависимости от того, как ваша модель работает на перекрестной проверке примеров.

Вы также можете просмотреть свои ложноотрицательные результаты, чтобы придумать новые функции, которые помогут вам лучше выявлять аномалии.

Следующий

В следующей заметке я рассмотрю пример того, как можно использовать машинное обучение для создания рекомендаций на основе контента для людей.

Прошлые заметки в этой серии

  1. На пути к глубокому пониманию машинного обучения
  2. Построение интуиции вокруг контролируемого машинного обучения с градиентным спуском
  3. Помогаем моделям обучения с учителем учиться лучше и быстрее
  4. Сигмовидная функция как концептуальное введение в функции активации и гипотезы
  5. Введение в модели классификации
  6. Переоснащение и предотвращение его с помощью регуляризации
  7. Введение в нейронные сети
  8. Модели классификации с использованием нейронных сетей
  9. Введение в кластеризацию K-средних