Распад модели — это не что иное, как ухудшение производительности и точности модели с течением времени.

У новичков может возникнуть путаница. Потому что в детстве мы читали о различиях между аппаратным и программным обеспечением. Там написано: «Оборудование со временем физически изнашивается, а программное обеспечение — нет». Тогда что это за хрень?
Не только ты, я тоже путаюсь.

Результатом моделей ML является прогнозирование/классификация/кластеризация данных на основе знаний, полученных в результате обучения с аналогичными данными. Но Частота данных меняется время от времени и Сценарии к Сценариям. Например, мы не можем использовать данные о погоде, которые относятся к 2 десятилетиям назад, к нынешней ситуации. Таким образом, модели, построенные на этих данных, не могут работать с этими данными. Время от времени производительность снижается. Это называется распад модели.

Сценарии распада модели, такие как,
- модели одобрения кредитов, которые обучались более 5–6 лет назад. Потому что существуют различия в финансовом уровне клиентов.
- Прогнозы рынка / запасов после стихийных бедствий, таких как тайфун, цунами, циклон, землетрясение, и мы также можем учитывать COVID.

В широком смысле мы можем разделить распад модели на две категории. Это
1. Дрейф концепции
2. Дрейф данных

Дрейф концепции

Распад модели происходит из-за изменения данных. Дрейф понятий – это изменение статистических свойств целевой переменной, которую модель пытается предсказать, изменяются со временем непредвиденным образом. Проще говоря, изменяется взаимосвязь между входной и выходной переменными. Это происходит в области, которая более зависима от времени.

Шаблоны, которые ваша модель изучила в прошлом обучении, больше не применимы. Мир развивается.

Есть в основном три типа смены концепции. Вот они:
1. Постепенный дрейф / Инкрементальный дрейф — свойства целевой переменной изменяются таким образом, что мы можем наблюдать и ожидать. Дрейф регулярный. В таких ситуациях легко переобучить модель.

Например, фондовые биржи, экономические скачки и т. д.

2. Внезапный дрейф — само название содержит подсказки. Внезапные глобальные изменения влияют на целевую переменную. Такие изменения, как COVID, — лучший пример для описания внезапного дрейфа. есть много изменений после повышения covid.

3. Повторяющийся/сезонный сдвиг: изменения происходят сезонно. Мы можем наблюдать и предсказывать изменения, если можем. Мол, продажи в выходные и будни разные. Продажа кондиционеров и воздухоохладителей летом и зимой.

Дрейф данных

Дрейф данных означает распределение изменений данных во времени.

С дрейфом данных трудно справиться больше, чем с дрейфом концепции. Существует два типа дрейфа данных. Они есть,

  1. Сдвиг ковариации — Изменение распределения данных в одной или нескольких независимых переменных (входных переменных). Но связь между переменными X и Y остается неизменной.

просто Ptrain(Y|X) = Pprod(Y|X) ; Ptrain(X) ≠Pprod(X).
Принимая во внимание, что Ptrain — это данные, используемые при обучении, а Pprod — данные после производства.

2. Сдвиг априорной вероятности — Изменение в распределении данных в зависимой переменной (переменная-предиктор/выходная переменная).
просто Ptrain(Y|X) = Pprod(Y|X) ; Ptrain(Y) ≠Pprod(Y).
Принимая во внимание, что Ptrain — это данные, используемые при обучении, а Pprod — данные после производства.

Вот так мы поняли о Concept Drift и Data Drift. Вот простое изображение, чтобы понять разницу между дрейфом понятий и дрейфом данных.

В следующей части мы можем обсудить, как справиться с этими дрейфами.

Спасибо,
Удачного кодирования :)

Для контактов:
Почта: [email protected]
LinkedIn: https://www.linkedin.com/in/surya-teja-menta/
Github: https:/ /github.com/Surya-Teja-Menta
Twitter: https://twitter.com/suryaTejamenta

Ссылки

[1] Нумал Джаявардена (27 июня 2021 г.) — Дрейф данных — Часть 1: Типы дрейфа данных
https://towardsdatascience.com/data-drift-part-1-types-of-data -drift-16b3eb175006#:~:text=%20Some%20examples%20of%20gradual%20concept%20drift%20are,to%20default%20on%20their%20кредиты%20can...%20More%20

[2] Ашок Чилакапати (25 апреля 2019 г.) — Дрейф понятий и распад модели в машинном обучении
https://towardsdatascience.com/concept-drift-and-model-decay-in-machine-learning -a98a809ea8d4