Сегодня ИИ стал одной из важнейших тем для компаний, что еще больше усиливает конкуренцию на рынке. Каждый год компании вкладывают очень большие бюджеты в проекты ИИ и аналитики, и ожидается, что в ближайшем будущем эти бюджеты будут расти ¹. Согласно отчету, опубликованному VentureBeat ², несмотря на затраченные большие бюджеты, 87% проектов по науке о данных даже не доходят до производства. По данным Gartner, только 20% аналитических моделей дают бизнес-результаты ³.
Различные изменения с течением времени, описанные ниже, являются одной из наиболее важных причин, по которым проекты ИИ имеют такой низкий уровень успеха, несмотря на избыток затрачиваемых ресурсов.
- Дрейф концепции (уменьшенная способность существующих функций объяснять прогнозируемое значение)
- Дрейф данных (изменение в распределении существующих функций)
- Дрейф алгоритма (предположения становятся неадекватными, изменение потребностей бизнеса)
Концепция дрейфа
Снижение объяснимости целевой переменной, которую пытаются предсказать или классифицировать в аналитических моделях, при существующих признаках называется дрейфом концепции.
Многие причины, такие как изменение семантики или единицы измерения целевой переменной, могут привести к дрейфу концепции. Допустим, мы работаем над проектом по обнаружению мошенничества. Предположим, что во время обучения модели целевая переменная, описывающая мошенническую транзакцию, создает на входе значение 1. После интеграции модели, если данные собираются, поскольку 1 представляет немошеннические транзакции, выходные данные модели будут искажены. В качестве примера дрейфа единиц в процессе интегрирования целевой переменной в граммах, которая была в килограммах в процессе разработки модели, значение целевой переменной внезапно увеличится в 1000 раз, что серьезно повлияет на производительность модели.
Крайне важно следить за моделями и проявлять инициативу, чтобы избежать этих дрейфов. Необходимо быть любознательным, чтобы быть в курсе дрейфов и оценивать их. Следует определить, являются ли эти дрейфы разовыми или непрерывными событиями. После постановки диагноза может потребоваться изменить соответствующие целевые переменные и переобучить модель.
Дрейф данных
Одной из наиболее важных причин снижения производительности модели является дрейф данных. Модели машинного обучения используют функции в наборе данных для прогнозирования. Дрейф данных в этом наборе данных может существенно повлиять на производительность модели. Поскольку этот эффект будет кумулятивным, впоследствии он приведет к ухудшению выходных данных всех моделей. По этой причине, как и в случае проблем с дрейфом концепции, регулярный мониторинг дрейфа данных и вмешательство, когда это необходимо, обеспечат непрерывность работы модели и дадут здоровые результаты.
Ниже приведены некоторые примеры потенциальных случаев дрейфа данных:
- Возникновение необычных условий, таких как пандемия и т. д.
- Повреждение инструмента (датчика и т. д.), который собирает данные
- Эффекты сезонности
- Изменение правил структуры данных
Помимо этих ситуаций, дрейф данных может происходить и по разным причинам.
Алгоритм дрейфа
Модели искусственного интеллекта разрабатываются в соответствии с потребностями и предположениями бизнеса на момент разработки. По этой причине этого может быть недостаточно для удовлетворения новых потребностей, которые могут возникнуть со временем, или изменения способов ведения бизнеса. Для предотвращения такой ситуации необходимо регулярно анализировать потребности бизнеса, проверять компетентность модели в этом контексте и при необходимости корректировать алгоритм.
Почему непрерывный ИИ обязателен?
Завершение процесса разработки модели искусственного интеллекта или аналитического проекта не гарантирует стабильно высокой выгоды. Чтобы потраченный бюджет более положительно отражался на бизнес-результатах, а разработанные модели были более эффективными и полезными, соответствующие модели должны постоянно контролироваться и анализироваться экспертными группами. Таким образом, можно определить новые потребности в развитии, и выгода от модели всегда может поддерживаться на самом высоком уровне.
[2]: https://venturebeat.com/2019/07/19/why-do-87-of-data-science-projects-never-make-it-into-production/
[3]: https://blogs.gartner.com/andrew_white/2019/01/03/our-top-data-and-analytics-predicts-for-2019/
Авторы
Атакан Кызылтан — специалист-консультант по аналитике @KoçDigital
Серхан Байрам — специалист по машинному обучению @KoçDigital
