(Контр)факт — извлечение практических идей из моделей машинного обучения

Если вы работали в ИТ-индустрии или в любой другой отрасли, использующей ИТ-услуги, вы, несомненно, были вовлечены в движение ИИ. Эта «новая» технологическая волна, которая берет свое начало в теориях, открытых много лет назад, в последние годы достигла вычислительной мощности, необходимой для ее использования, и можно с уверенностью сказать, что бизнес, основанный на технологиях, никогда не будет прежним. ИИ вошел в большинство аспектов наших возможностей принятия решений, от, казалось бы, тривиальных, таких как прогнозы популярности и предложения друзей, до более важных, таких как рецидивизм заключенных и индивидуальный прогноз высокого кредитного риска. По большому счету, эти интеллектуальные системы созданы, чтобы помогать бизнес-решениям и подкреплять их фактами (и, соответственно, данными). Например, некоторые организации могут использовать эти модели и системы для увеличения продаж, снижения текучести кадров, расширения клиентской базы и т. д. Для этого недостаточно просто иметь модели на месте. Мы должны спросить, что теперь?

Чаще всего результатом модели машинного обучения является какая-то версия того, что, сколько, когда или просто да/нет. Но по мере того, как мы все больше адаптируем эти модели к нашим процессам принятия решений и пытаемся привести их результаты в соответствие с бизнесом, возникает острая необходимость в том, почему. Помимо соблюдения нормативных требований, это требование «почему» подкрепляется основной необходимостью вынести на свет аспект «черного ящика» этих моделей. Более того, получить представление о работе модели позволяет как бы их проверить, что позволяет обеспечить справедливость и устранить предвзятость. Объяснимый ИИ допускает такие объяснения и становится ответом на вопрос «почему?». С такими объяснителями, как LIME, SHAP, FairML и т. д., ученые и аналитики данных получают достойные, легко интерпретируемые объяснения результатов своих моделей. Эти объяснения позволяют нам заглянуть в модель и получить представление о том, как она работает, что, в свою очередь, помогает нам понять, почему модель сделала предсказания, которые она сделала.

Например, рассмотрим модель, созданную для прогнозирования оттока клиентов (вероятность того, что пользователь телекоммуникационных услуг переключится на другую услугу). В контексте бизнеса эта модель прогнозирует вероятность оттока (с хорошей точностью) на основе некоторой информации о клиентах, которая передается ей. Результатом этой модели будет либо ДА (т. е. вероятность переключения), либо НЕТ (вероятность сохранения). Если бы мы использовали объяснитель (скажем, LIME — Local Interpretable Model-Agnostic Explainer) для этой модели и ее выходных данных, мы бы поняли, почему был сделан конкретный прогноз. На данный момент у нас есть прогноз, а также понимание того, почему модель пришла к такому конкретному результату. Как мне, как поставщику телекоммуникационных услуг, использовать эту информацию, чтобы что-то предпринять?

Введите контрфактуалы.

Возвращаясь к сценарию оттока в телекоммуникациях, рассмотрим случай, когда модели передаются данные определенного пользователя, и она предсказывает, что этот пользователь, вероятно, сменит поставщика услуг (т. е. отток). Используя объяснитель в дополнение к этой модели, мы понимаем, что модель предсказала отток клиентов, потому что общая стоимость международных звонков клиента была выше/ниже определенного порога, а общая стоимость ночных звонков находилась в определенном диапазоне, а также потому, что у него был активный тарифный план голосовой почты. или нет и тд. Эта комбинация значений и пороговых значений заставила модель сместиться в сторону предсказания оттока. Основываясь на объяснении функций (учитывая, что они оказали наибольшее влияние на результат), если бы мы настроили их значения и нашли случай, когда результат переворачивается (т. мы получили бы представление о том, какая комбинация значений характеристик заставит этого клиента продолжить. Используя эти измененные значения, поставщик услуг и его маркетинговая команда теперь могут принимать целенаправленные решения, чтобы снизить вероятность оттока клиентов. Теперь мы подошли к четкому логическому завершению всего процесса принятия решений.

Это направление мысли можно экстраполировать на другие сценарии. Например:

  • Розничная торговля: почему мой товар не слетает с полок и что я могу сделать, чтобы это исправить.
  • Банковское дело: почему в кредите было отказано и что могло послужить причиной его одобрения (если не прозрачность, то подумайте о соблюдении требований).
  • Логистика: почему стоимость перевозчика исключительно высока и когда я мог бы альтернативно попробовать транспорт, чтобы сократить расходы?

У контрфактических выводов и объяснений есть несколько явных преимуществ:

  • В первую очередь он не зависит от модели, все, что нам нужно, это входные данные (функции) и выходные данные модели.
  • Это позволяет нам получить реальный сценарий «что, если», позволяя нам целостно взглянуть на процесс принятия решений.
  • На основе этих выводов можно проводить целевые маркетинговые кампании и бизнес-решения.

Некоторые недостатки / предостережения:

  • Слишком много контрфактических объяснений могут сделать выводы зашумленными, где мы останавливаем/проводим линию для возмущений функций (например: ограничиваем эти модификации минимальным изменением, которое вызывает изменение результата/вероятности).
  • Категориальные данные с несколькими вариантами могут сделать этот процесс длительным, сложным и громоздким.
  • Иногда мы не можем найти контрфактический вывод в пределах разумного, что делает нас неспособными использовать этот процесс для принятия решений.

Противоречивые объяснения и выводы могут помочь создать мост между техническим результатом модели и бизнес-обоснованием решений, принятых на ее основе. Хотя не существует программного обеспечения, которое автоматически делает эти выводы (пока), это процесс, который можно выполнить вручную (в некоторой степени). Он привносит человеческий аспект в преимущественно вычислительный процесс и может служить ярким примером того, как человек и машина работают над принятием эффективных, разумных и действенных бизнес-решений.