Представьте, что вы нанимаете нового сотрудника. Вы вкладываете усилия, время и деньги, чтобы найти идеального кандидата, протестировать его на борту и тщательно обучить. После всего, что было сделано, вы никогда больше не будете оценивать их работу.

Чего ждать? Это безумно! Что, если они каким-то образом зацикливаются не на том? Или столкнулись с новыми вызовами, к которым совершенно не готовы? Что, если я скажу вам, что большинство предприятий делают что-то очень похожее? Разница лишь в том, что новый сотрудник не является человеком. Это модель машинного обучения.

Риски операционного ОД

Бесчисленное количество корпоративных организаций в различных отраслях внедрили и внедрили системы машинного обучения для принятия важных бизнес-решений во всех подразделениях. Однако, как только системы машинного обучения будут успешно развернуты, на этом все закончится. Ни представители бизнеса, ни инженеры не заботятся о том, чтобы эти системы продолжали приносить пользу. И хотя многие могут подумать, что это «не такая уж большая проблема», уверяю вас, есть последствия отсутствия мониторинга ваших моделей в производстве.

В 2018 году Amazon также отказалась от найма ML после того, как обнаружила, что их ИИ для найма был сексистским после того, как отбирал только кандидатов-мужчин для продвижения процесса найма. Неправильная оценка моделей риска сыграла значительную роль в финансовом крахе 2008 года. Отсутствие оценки и оценки влияния программного обеспечения для криминалистики на бизнес означало, что на жизни нескольких заключенных повлияли неправомерно назначенные тюремные сроки.

Теперь, видя, насколько катастрофическими были результаты отсутствия мониторинга ваших систем машинного обучения, давайте посмотрим, что такое мониторинг машинного обучения. В этой серии блогов. мы обсудим, почему необходим мониторинг систем ИИ, как это делать правильно, и выделим наиболее важные проблемы, связанные с этим.

Мониторинг машинного обучения 101

Давайте начнем с самого простого случая: традиционная система обучения с учителем без онлайн-обучения или каких-либо других причудливых уловок. Просто старый добрый ML, который приносит реальную пользу. Не тратя слишком много времени на глубокое погружение в второстепенные случаи, наша цель будет состоять в том, чтобы охватить основы мониторинга.

Элементы системы машинного обучения

Давайте взглянем на типичную систему машинного обучения с чем-то вроде персонализированного ценообразования на страховку. Этот процесс состоит в поиске лучшей страховой цены для каждого заявителя (бизнес-процесс) на основе:

  • Данные об этом человеке (входные данные)
  • Модель машинного обучения для прогнозирования цены
  • Сама цена (выход модели)
  • Любые данные, которые мы можем собрать позже, например, рентабельность инвестиций в политику, называются нисходящими данными.

Теперь, если мы просто отслеживаем данные о претендентах и ​​ценах, предоставленные моделью, и объединяем их с последующими данными о качестве прогнозов (если они у нас есть), мы можем аппроксимировать саму модель, давая нам обзор каждой части система. Этот обзор выявит любые несоответствия в наших данных и примет соответствующие меры. Это может быть что угодно: от переобучения модели, сбора дополнительных данных, корректировки технических KPI для лучшего отражения бизнес-целей или даже остановки модели и начала более глубокого исследования. В другом посте мы расскажем, какие проблемы могут возникнуть в системе машинного обучения, как их обнаружить и как решить.

Дрейф данных

Проще всего отслеживать то, что поступает в ИИ, то есть ввод модели. Изменение этих входных данных называется дрейфом данных. Примером дрейфа данных является медленное старение клиентов в вашей системе машинного обучения с оттоком клиентов или внезапный всплеск заявок на кредит от людей из определенного города в вашей системе невозврата кредита.

С более формальной точки зрения дрейф данных возникает, когда распределение входных данных модели существенно меняется с течением времени. Как узнать, является ли изменение значительным? Изменение считается значительным, если оно может отрицательно сказаться на качестве некоторых моделей. Мы расскажем об этом в другом посте. Используя обычные обозначения, это изменение P(X).

Дрейф данных происходит, когда популяция, с которой вы работаете, меняется. Это может быть изменение, вызванное внешними факторами. Но это также может быть вызвано непосредственно тем, что модель находится в производстве; мы влияем на население, используя на нем ИИ — это важный вопрос, о котором мы должны помнить.

**Важно отметить: дрейф данных НЕ всегда снижает влияние развернутой модели на бизнес. Но даже дрейф данных, который не вредит модели, нужно контролировать, несмотря ни на что. Почему? Мы обсудим это и в следующей статье, так что следите за обновлениями!

Концепция дрейфа

В большинстве случаев целью машинного обучения с учителем является выявление закономерностей между входными и выходными данными модели. Это поможет нам создать сопоставление, учитывающее все, что мы передаем. в модель и выдает то, что мы пытаемся предсказать. Используя пример ценообразования на страхование, цель этой модели — найти закономерности между данными о заявителе и оптимальной ценой страхового полиса.

Однако это сопоставление имеет тенденцию меняться со временем, и взаимосвязь между данными заявителя и оптимальной ценой полиса не является постоянной. (Например, когда в регионе растет число краж со взломом, оптимальная цена страхования от кражи может увеличиться по всем направлениям, чтобы учесть повышенный риск.) Это изменение в отображении называется дрейфом концепции. Используя обычные обозначения, это изменение P(y|X). Движение концепции почти всегда снижает влияние на бизнес. Если отображение меняется между входами и выходами, старое отображение, идентифицированное алгоритмом, вряд ли будет хорошо работать с новой подгруппой.

Влияние на бизнес

Влияние системы машинного обучения на бизнес — это последнее, что мы должны отслеживать. Это относительно простой процесс, если мы можем сравнить наши прогнозы с реальностью. Если мы прогнозируем спрос на продукт на несколько дней вперед, мы можем просто сравнить прогнозы (результаты модели) с реальным спросом (наземная правда) и на основе этого отслеживать как технические, так и бизнес-КПЭ. Интересно, что корреляция между бизнес-KPI и техническими KPI может со временем ослабнуть до такой степени, что использование технических показателей для оценки влияния больше не имеет смысла. Однако это более длинная тема, которую мы рассмотрим позже.

В большинстве случаев мы не можем сравнить прогнозы с реальностью, так как они либо вообще отсутствуют, либо значительно запаздывают. Когда мы используем систему искусственного интеллекта для установления цен на страховые полисы, проверка каждого прогноза аналитиками-людьми была бы неосуществимой, и это лишило бы смысла использование автоматизированной системы. В таких случаях мониторинг воздействия на бизнес становится сложным. Лучшее, что мы можем сделать, — это оценить, используя прошлые отношения (отображение) между влиянием, данными и дрейфом концепций. И, как вы уже догадались, мы можем сделать это с помощью машинного обучения. Опять же, об этом позже.

Собираем все вместе

Мы обсудили смещение концепции, смещение данных и то, как это может повлиять на бизнес. Когда мы отслеживаем все данные, входящие и исходящие из системы ИИ, мы почти сразу можем обнаружить любые нарушения. Это дает нам возможность сказать: «Подождите минутку» и присмотреться, чтобы лучше понять, что могло пойти не так. Это не только помогает создать лучшую систему искусственного интеллекта, но и возвращает вам полный контроль над вашим операционным машинным обучением.

Что дальше?

Мы обсудили необходимость мониторинга систем машинного обучения, что это такое, и дали общий обзор того, как это сделать. Но достаточно ли этого, чтобы полностью доверять своему машинному обучению? Не полностью. Для этого нам также нужен способ определить основные причины проблемы и найти способ ее решения. И об этом будет следующий пост!

Вы сталкивались с дрейфом данных или концепций? Свяжитесь с нами!