В соавторстве с Малихой Коул, специалистом по данным из IBM Data Science Elite, и Кортни Брэнсон, специалистом по данным из Expert Labs Trustworthy AI Practice.

Что нужно, чтобы доверять решению, принятому моделью? На этот вопрос нет однозначного ответа, и на самом деле надежность имеет много граней, или того, что мы иногда называем «столпами». Некоторыми часто обсуждаемыми столпами являются дрейф, качество, справедливость, объяснимость, прозрачность, конфиденциальность, устойчивость к состязаниям и многое другое. Каждый из этих столпов рассматривает очень разные аспекты доверия к ИИ. Столпы также не все созданы равными в зависимости от рассматриваемой модели и варианта использования. Знание того, как данные, поступающие в модель, изменились с течением времени, может иметь первостепенное значение для одного варианта использования, тогда как для другого нас может больше волновать вопрос о том, предвзято ли относится модель к определенным демографическим группам. Важно потратить время на размышления об этих различных областях, прежде чем начнется какая-либо разработка, чтобы убедиться, что вы устанавливаете надлежащие ограждения для обеспечения надежности на каждом этапе процесса создания ИИ. В этом блоге мы более подробно рассмотрим первые четыре столпа, а именно дрейф, качество, справедливость и объяснимость.

Что такое надежный ИИ?

Рабочие процессы ИИ с прогностическими моделями являются неполными и практически неработоспособными для бизнеса, если им нельзя «доверять». Метрики модели для проверки производительности можно оценивать несколькими способами, такими как точность, ошибка и т. Д., На тестовых данных и наборах данных с задержкой. Однако недостаточно, чтобы модели доверяли в производстве. Модель в бизнес-операциях должна соответствовать KPI и обеспечивать ценность для конечного пользователя, а также решать любые проблемы предвзятости. Эти концепции мониторинга моделей охватывают понятие надежного ИИ. Модель, которая не может дать полной картины прогнозов, в конечном итоге может оказаться бесполезной. Например, если банкир не знает, «почему» конкретное лицо было предсказано как рискованное для выдачи кредита, он не может принять обоснованное решение, и, следовательно, ценность модели/рабочего процесса ИИ практически незначительна. Вместо этого прогнозы модели будут полезны для банкира, если будет предоставлена ​​целостная картина самого прогноза с точки зрения того, что лежит в основе прогноза, как его можно изменить (если возможно) и т. д. Бизнес-пользователи, встраивающие модели ИИ в свои приложения, могут использовать функция объяснимости, чтобы лучше понять, какие факторы повлияли на результат ИИ для конкретной транзакции. Например, если клиенту отказано в кредите, и это решение частично связано с прогнозом модели ИИ, бизнес должен предоставить клиенту четкое объяснение решения. В целом повысьте эффективность, охват и доверие к своим моделям.

Начиная

Чтобы начать работу с надежным искусственным интеллектом, в этом блоге будет использоваться пример кредитного риска, в котором мы используем модель машинного обучения, чтобы предсказать, представляет ли клиент риск невозврата кредита, который он запрашивает. Для банка очень важно понимать поведение и историю своих клиентов, чтобы принимать важные решения, такие как выдача ссуды или кредита. Однако банковским служащим (т. е. тем, кто выдает кредиты) требуется очень много времени, чтобы пройти весь этот процесс самостоятельно. Таким образом, для улучшения банковских операций эта модель машинного обучения прогнозирует степень риска клиента, чтобы помочь сотруднику банка в процессе принятия решения о том, следует ли одобрить кредит клиента.

Надежные концепции искусственного интеллекта могут быть реализованы с использованием многих пакетов Python или написаны с нуля. Однако пакеты IBM OpenScale и AI360 предоставляют комплексные показатели для надежного ИИ, которые просты в использовании, внедрении и использовании. В эту статью мы включим фрагменты кода, которые использовали для настройки мониторинга нашей модели в IBM OpenScale. Важно отметить, что шаги, предшествующие настройке мониторов модели, не включены для краткости. Если вам нужна дополнительная информация о том, как настроить первые этапы процесса, вы можете прочитать больше здесь (ссылка: https://www.ibm.com/docs/en/cloud-paks/cp-data/4.5. x?topic=openscale-configuring-watson)

Глубокое погружение

ДРИФТ

Производительность модели может со временем ухудшиться из-за переобучения модели на новых данных. Этот тип дрейфа производительности модели от ее идеального поведения во время обучения и развертывания до производства вызывает риск в надежности прогнозов модели. IBM Watson OpenScale предоставляет функциональные возможности для готовой настройки монитора дрейфа, предоставляя развернутую модель и определяя пороговые значения. Для модели кредитного риска точность во время обучения составляла 83,60 %, но позже наблюдается падение на 3,10 %. Незначительное изменение метрик может быть не столь опасным, но у каждой модели может быть свой порог нарушения. Падение точности на 10% будет нарушением модели кредитного риска и потребует повторного обучения или проверки на предмет причины дрейфа. Непротиворечивость входящих данных также может измениться и вызвать дрейф в производительности модели. Таким образом, дрейф можно обобщить как любые изменения в производительности модели со времени обучения и развертывания, а также изменение данных из данных обучения и тестирования. Для поддержания качества моделей в производстве крайне важно измерять и контролировать дрейф.

КАЧЕСТВО

Метрики качества определяют производительность конкретной модели на невидимых данных (данные, на которых модель не обучалась). В зависимости от типа используемого алгоритма и постановки задачи, показатели качества, такие как точность, AUC-ROC, среднеквадратическая ошибка и т. д., используются для оценки того, насколько хорошо модель обобщает и работает в реальной ситуации или производственной среде. Для получения метрик качества Watson OpenScale предлагает разнообразный набор метрик на выбор в зависимости от типа модели. Модель кредитного риска представляет собой бинарный классификатор, поэтому мы в первую очередь используем AUC-ROC и точность для мониторинга производительности. Область под кривой ROC (AUC-ROC) особенно полезна для различения FPR (частота ложных срабатываний) и TPR (частота истинных положительных результатов) модели. Модель имеет точность 83,60% и показатель AUC-ROC 0,81. Монитор использует тестовые данные для обновления метрик. (вставьте еще одно изображение для монитора качества)

СПРАВЕДЛИВОСТЬ

Метрики справедливости помогают нам проанализировать, дают ли наша модель и данные непропорциональные преимущества одной части населения по сравнению с другими. Существуют сотни показателей, которые помогают анализировать справедливость. Первый шаг — решить, какая метрика вам нужна для вашего варианта использования. Это будет зависеть от множества факторов, специфичных для вашего варианта использования, например, кодируют ли ваши наземные данные общественные предубеждения, носят ли прогнозы карательный или вспомогательный характер, и заинтересованы ли вы в групповых предубеждениях, индивидуальных предубеждениях или в том и другом. IBM выпустила набор инструментов с открытым исходным кодом под названием AIF360, который включает большое количество показателей справедливости, а также рекомендации о том, как решить, какая метрика подходит для вашего варианта использования. (https://aif360.mybluemix.net/resources#guidance)

Поскольку наш набор данных использует исторические данные, он, вероятно, включает социальные предубеждения. Из-за этого мы собираемся использовать разрозненное воздействие для анализа независимости прогнозов и защищенных классов. В идеальном мире уровень одобрения кредита был бы примерно одинаковым для всех групп в нашем наборе данных, что означает, что мы ожидаем, что наше несоизмеримое влияние будет равно 1. Это проанализирует то, что мы называем справедливостью группы, то есть существует ли предубеждение против заданная группа в нашем наборе данных и/или модели.

Второй выбор, который нам нужно сделать, это то, для каких защищенных классов мы хотим проанализировать справедливость. Наиболее распространенными примерами защищенных классов являются возраст, пол, уровень дохода и раса. Однако вы можете проанализировать справедливость для любой подгруппы населения, которая, по вашему мнению, может подвергаться риску. Это может включать менее распространенные группы, такие как семейное положение, уровень образования, местонахождение и т. д. Первая мысль большинства практиков состоит в том, чтобы просто исключить эти защищенные классы из обучающих данных, чтобы модель не изучала нежелательные шаблоны в этих полях. Однако все больше и больше исследований показывают, что исключения этих функций недостаточно, чтобы избежать предвзятости в этих областях, поскольку они могут быть закодированы в неожиданных полях, таких как почтовые индексы. Это известно как скрытая предвзятость. (https://hdl.handle.net/1813/104229). Хотя по-прежнему может быть полезно не тренироваться на функциях, которые явно включают защищенные классы, вам необходимо отслеживать их для каждой точки данных, потому что мы по-прежнему хотим обеспечить справедливость для каждого защищенного класса, независимо от того, используются ли они в обучающих данных или нет. Чтобы не усложнять наш пример, мы решили рассмотреть только два защищенных класса: возраст и пол.

Затем нам нужно решить, против каких подразделов наших защищенных классов мы рискуем быть предвзятыми, которые мы будем называть «отслеживаемой группой», и какие подразделы, по нашему мнению, будут иметь преимущество, которые будут называться «эталонной группой». '. (Примечание: эти группы имеют разные имена в зависимости от того, какую библиотеку вы используете. Иногда их называют «непривилегированные»/«привилегированные», «меньшинство»/«большинство» и т. д.) Для нашего варианта использования мы определили возрастной диапазон от 44 до 67 лет будет контрольной группой, а возрастной диапазон от 18 до 43 лет будет группой наблюдения. Мы решили отслеживать младшую возрастную группу, поскольку считаем, что они с большей вероятностью будут рассматриваться как рискованные инвестиции, будь то из-за отсутствия опыта, кредитной истории или любого количества различных факторов. Кроме того, мы разделили наблюдаемую группу на 13 сегментов, чтобы получить более детальное представление о том, как меняются показатели справедливости по мере приближения к эталонному возрасту. Что касается пола, мы решили, что «женщины» будут группой наблюдения, а «мужчины» будут референтной группой. Мы выбрали это из-за множества факторов при рассмотрении финансовых профилей мужчин и женщин, таких как гендерный разрыв в оплате труда.

Прежде чем приступить к расчету метрик, нам нужно принять два последних решения. Во-первых, это порог приемлемости для наших показателей справедливости (т. е. насколько разными мы допустим наши несопоставимые коэффициенты воздействия, прежде чем мы скажем, что существует предвзятость). В нашем случае мы произвольно установили их равными 0,99 для возраста и 0,80 для пола. Однако в реальном сценарии вы хотели бы, чтобы это была линия бизнес-решения, в которой нормативные требования, передовой опыт отрасли, исследования в этой области и, возможно, даже внешние органы по стандартизации объединяются для выработки порог, который подходит для вашего варианта использования. Во-вторых, решить, какой «благоприятный» или «неблагоприятный» прогноз следует из нашей модели. Поскольку мы прогнозируем кредитный риск для одобрения банковского кредита, мы считаем, что благоприятный результат нашей модели — «Нет риска», а неблагоприятный результат — «Риск».

Серия шагов, изложенная выше, является тем, что я считаю основой для расчета этих показателей. Они не требуют выполнения каких-либо фактических расчетов. Вместо этого вы сосредотачиваетесь на том, чтобы полностью продумать проблему — обычно с помощью экспертов в предметной области, которые тесно связаны с проблемной областью. Когда у вас есть эти определения, вы можете просто подключить и пыхтеть, чтобы получить свои результаты. Потратив время на то, чтобы сначала определить эти вещи и действительно продумать проблему, мы сможем более уверенно перейти к расчетам. Это также позволяет как высокотехнологичным специалистам по данным получить поддержку и понимание со стороны бизнеса, прежде чем будет написан какой-либо код. Важно отметить, что это повторяющийся процесс. Если позже мы увидим, что наши предположения здесь были неверны и на самом деле другая часть населения оказалась в невыгодном положении, эти определения можно поменять местами и пересчитать показатели. Мы должны продолжать проверять выбор, который мы делаем здесь, чтобы обеспечить справедливость по мере того, как время идет и данные дрейфуют. Теперь, когда все эти решения приняты и обдуманы, мы можем начать вычислять справедливость для нашего набора данных и модели.

Существует два основных способа, с помощью которых OpenScale позволяет просматривать поступающую статистику справедливости. Первый — это временной график, как показано выше. Это позволяет вам увидеть, как статистика меняется с течением времени для вашей модели. Красная линия внизу показывает наш порог, установленный на 80%. Поскольку наши расчетные значения всегда выше нашего порога, мы можем сказать, что наша модель действовала беспристрастно в отношении защищенного класса «пола».

Вы можете получить дополнительную информацию о том, как была рассчитана метрика, щелкнув одну из этих точек данных на временной диаграмме. Здесь вы можете увидеть измеренные значения как для контролируемой, так и для эталонной групп. Женщины получали ярлык «Нет риска» в 74% случаев, а мужчины — в 72% случаев. Подключив это к нашей несопоставимой формуле воздействия, полученной ранее, мы получаем несопоставимую оценку воздействия 1,03 и, следовательно, оценку справедливости 103%. Если бы наша несопоставимая оценка воздействия оказалась ниже нашего порога в 80 %, то мы бы сочли нашу модель необъективной. В этом случае вы хотели бы выполнить смягчение смещения.

ОБЪЯСНИМОСТЬ

Объяснимость модели возникает как часть распаковки модели. Часто модели машинного обучения трудно интерпретировать конечному пользователю или бизнес-потребителю.

С точки зрения кредитного риска голый прогноз не очень полезен для конечного пользователя. Аудитор хотел бы знать, почему, прежде чем принимать какие-либо решения, основанные на модели, классифицирующей данного клиента как «рискованного». Watson OpenScale также предоставляет возможность генерировать объяснения для отдельных прогнозов, используя объяснимость LIME с запатентованным алгоритмом. Также доступны объяснения SHAP. Глядя на объяснения кредитного риска, аудитор может понять, почему клиент 1 классифицируется как рискованный по сравнению с клиентом 2. Относительное влияние на каждую функцию (предиктор) также укрепляет доверие к модели и гарантирует, что модель демонстрирует базовое интуитивное поведение. с точки зрения МСП для варианта использования.

Еще один тип объяснения, называемый контрастным объяснением, также полезен для понимания предсказаний модели. Он изображает возможные изменения в данных, которые могут привести к результату, отличному от предсказанного моделью. В модели кредитного риска, как показано на диаграмме, модель предсказала результат как Риск с достоверностью 67,58 %. Контрастные пояснения показывают, как следует изменить текущий набор значений, чтобы получить результат Нет риска. Это особенно полезно для аудитора, который хочет найти возможности изменить риск, связанный с потребителем, на отсутствие риска. Аудитор теперь может принимать обоснованные решения и рекомендации на основе подробных сведений, содержащихся в объяснениях.

СПЕЦИАЛЬНЫЕ ПОКАЗАТЕЛИ

Для каждого из столпов, описанных в этой статье, мы выбрали и проанализировали надежность нашей модели, используя алгоритмы и статистику, которые были доступны из коробки с Watson OpenScale. Однако, как мы намекали на протяжении всей статьи, существуют сотни различных алгоритмов и статистических данных, которые можно использовать, будь то с помощью OpenSource, такого как AIF360, бизнес-KPI или проприетарных алгоритмов, которые вы разработали сами. Watson OpenScale позволяет отправлять эти показатели на платформу и отображать их так же, как и любые другие мониторы, которые мы уже обсуждали здесь. Например, если вам нужна метрика справедливости, которая может анализировать перекрестную справедливость, такую ​​как сглаженная эмпирическая дифференциальная справедливость, вы можете настроить монитор и рассчитать ее вместе с другими. (ссылка: https://www.ibm.com/docs/en/cloud-paks/cp-data/4.5.x?topic=monitoring-creating-custom-monitors-metrics) Несмотря ни на что, вам нужно подумайте о потребностях модели, ее пользователей и людей, которых она затронет, чтобы убедиться, что у вас есть правильные инструменты и мониторинг, чтобы сделать вашу модель достойной их доверия.

Попробуйте самостоятельно бесплатно настроить надежный ИИ для своей модели в IBM Cloud.