Понимание и устранение дрейфа модели
Все склонно к беспорядку. Второй закон термодинамики гласит: «По мере продвижения во времени чистая энтропия (степень беспорядка) любой изолированной или закрытой системы всегда будет увеличиваться (или, по крайней мере, оставаться неизменной)». Таким образом, ничто не вечно. Наша молодость не вечна, лучшее становится худшим, а наши модели машинного обучения деградируют по мере того, как время делает свое дело.
Мир не статичен, он динамичен и постоянно меняется. Спам-электронное письмо 2000-х годов - это не то же самое, что спам-электронное письмо в 2021 году. Функции, используемые для обнаружения мошеннических писем в 2021 году, будут значительно отличаться от функций 2000-х годов - люди стали умнее, в том числе и мошенники. Если мы попытаемся использовать модель, разработанную в 2000 году, чтобы определить, являются ли электронные письма от 2021 года мошенническими или нет, мы могли бы ожидать, что предсказательная сила модели ухудшится по сравнению с мошенническими электронными письмами 2000 года. описывает концепцию, известную как дрейф модели.
Дрейф модели - это снижение предсказательной способности модели в результате изменений в окружающей среде. Если бы что-то оставалось неизменным, то есть среда и данные, мы должны ожидать, что предсказательная сила наших моделей машинного обучения останется постоянной. Однако все мы знаем, что реальный мир постоянно меняется. Изменения в реальной среде влияют на отношения между переменными, что ухудшает прогнозы, сделанные моделью. Например, изменения в способе представления спам-писем повлияют на способность нашей модели машинного обучения обнаруживать спам-письма.
По сути, мы должны ожидать, что модель машинного обучения потеряет предсказательную силу, потому что со временем все меняется. Если мы не обнаружим дрейфующую модель вовремя, это может серьезно повредить нашему конвейеру, услугам и / или бизнесу в целом. Но как мы узнаем, что модель дрейфует? Он начинается с понимания того, как модель может дрейфовать.
Различные типы дрейфа модели
Чтобы знать, как бороться с дрейфом модели, мы должны сначала понять, с каким типом дрейфа модели мы имеем дело и что его вызывает.
Concept Drift
Когда мы обучаем модель машинного обучения на данных, модель изучает функцию, которая сопоставляет функции с целевой переменной. Как уже говорилось ранее, если бы все было статично и ничего не менялось с течением времени, то мы ожидали бы, что связь между функциями и целью будет истинной, поэтому модель должна работать так, как всегда.
Однако в действительности все меняется. Статистические свойства целевых переменных меняются, равно как и значение. Следовательно, отображение, которое было изучено с помощью модели машинного обучения, больше не подходит для новой среды - то есть представление о том, что такое спамер, со временем эволюционировало.
Дрейф данных
С дрейфом понятий меняется определение спамера - статистические свойства целевой переменной изменяются непредвиденным образом. Напротив, дрейф данных относится к изменению свойств функций. Основные изменения в функциях приводят к сбою модели.
Данные могут дрейфовать из-за:
- Сезонность - регулярные и предсказуемые изменения данных, повторяющиеся каждый календарный год.
- Предпочтения потребителей - наши предпочтения со временем меняются. То, что нам нравится сегодня, может не быть тем, что нам нравится завтра.
- И т.п.
Обнаружение дрейфа модели
И концепция, и дрейф данных являются ответом на статистические изменения данных. Таким образом, использование методов мониторинга статистических свойств, прогнозов модели и их корреляции с другими факторами не кажется плохой идеей.
Например, мы можем отслеживать оценку F1 - в зависимости от проблемы - чтобы определить, работает ли наша модель должным образом. Как только модель опускается ниже указанного порога F1, мы можем сделать вывод, что наша модель дрейфует. Или мы можем отслеживать результат прогноза вместе с другими функциями. Например, если мы видим увеличение или уменьшение количества мошеннических транзакций со скоростью, которая сильно отличается от скорости активных пользователей, то мы можем сделать вывод, что может иметь место некоторый дрейф.
Преодоление дрейфа модели
Обнаружение дрейфа модели равносильно признанию того, что у вас есть проблема. Как только вы поняли, что есть проблема, следующим шагом будет выяснение того, как ее преодолеть, и создание плана. В случае смещения модели существует 2 популярных плана решения проблемы смещения модели.
Первый метод предполагает периодическое переобучение вашей модели машинного обучения. Этот метод достаточно эффективен. Если мы знаем, что модель ухудшается каждые 3 месяца, то хорошей идеей было бы переобучать модель каждые 2 месяца, чтобы производительность модели никогда не опускалась ниже заданного порога.
Еще одно решение проблемы дрейфа модели - онлайн-обучение. Онлайн-обучение - это метод машинного обучения, при котором модель обучается в режиме реального времени. Это работает так, что данные становятся доступными последовательно и используются для обновления лучшей модели, которая будет использоваться для будущих данных на каждом этапе.
Заявление об ограничении ответственности. Проведение онлайн-обучения чрезвычайно сложно, но при правильном выполнении можно достичь феноменальных результатов.
Последние мысли
Со временем большинство вещей ухудшается; наши кости слабеют, бананы портятся, а модели машинного обучения теряют предсказательную силу. Это понятие известно как дрейф модели. Оба типа дрейфа модели связаны со статистическими изменениями в данных, но обнаружение дрейфа модели по-прежнему является сложной задачей. За прошедшие годы появилось множество стартапов для решения этой проблемы, и команды по всему миру придумали несколько способов обнаружить и преодолеть эту проблему.
Спасибо за прочтение!
Если вам понравилась эта статья, свяжитесь со мной, подписавшись на мою БЕСПЛАТНУЮ еженедельную рассылку. Никогда не пропустите мой пост об искусственном интеллекте, науке о данных и фрилансе.
