В соавторстве с Кушем Варшнеем

Поскольку искусственный интеллект (ИИ) все больше поддерживает критически важные корпоративные рабочие процессы с высоким риском, разработчики систем ИИ должны гарантировать, что решениям, которые ИИ принимает для людей, можно доверять. Наша команда в IBM ранее описывала пять столпов доверия: справедливость, надежность, объяснимость, конфиденциальность и прозрачность. Чтобы помочь разработчикам создавать надежные ИИ-решения, IBM Research выпустила в этой области несколько наборов инструментов с открытым исходным кодом, основанных на основных принципах - AI Fairness 360, Adversarial Robustness 360, AI Explainability 360, AI Privacy 360, Количественная оценка неопределенности 360 , Причинный вывод 360 и Таблицы фактов по ИИ 360 .

С момента первого выпуска этих инструментов команда много узнала о разработке основных инструментов для разработчиков ИИ. В процессе работы мы поняли, что столпы могут быть не самым интуитивно понятным способом для разработчиков подбирать новые инструменты. Сегодня мы поговорим о следующей эволюции инструментов доверия, с которой мы начнем проектировать с учетом жизненного цикла ИИ.

Соответствие ментальным моделям разработчиков ИИ

Давайте посмотрим на эту проблему через призму типичного примера проблемы надежного ИИ - автоматизации утверждения ипотечных кредитов.

Если вы разработчик, создающий модель одобрения ипотеки, или руководитель, который должен одобрить поведение системы, вы, вероятно, не думаете о пяти столпах надежного ИИ, когда подходите к своей проблемной области. Руководители обычно думают в целом: «Как я могу убедиться, что наши клиенты доверяют нашему процессу утверждения ипотеки?» Между тем разработчики просто хотят знать: «Как я могу измерить, одобряем ли мы правильные ипотечные кредиты?»

В разных отраслях и проблемных пространствах люди, как правило, думают не об основах доверия индивидуально, а в целом, не делая особого различия между справедливостью, конфиденциальностью, надежностью, объяснимостью и прозрачностью. Разработчики ИИ хотят быстро связать требования, касающиеся безопасности и соответствия, с конкретными шагами, которые им необходимо предпринять. Как правило, разработчики, которым нужны надежные инструменты искусственного интеллекта, уже хорошо разбираются в постановке своих проблем, связанных с жизненным циклом искусственного интеллекта. Когда эти разработчики приближаются к использованию инструментов доверия, они хотят знать, какие дополнительные операции необходимо выполнить при предварительной обработке данных и какие варианты у них есть для замены своего классификатора на классификатор, основанный на доверии. Как создатели инструментов, мы должны строить наши инструменты на основе жизненного цикла ИИ, чтобы мы могли опираться на концепции, которые уже хорошо известны нашим пользователям.

Поэкспериментировав с наборами инструментов доверия IBM в реальных условиях, мы обнаружили, что эти инструменты еще не достигли такого уровня удобства использования. Пользователи инструментов доверия сталкиваются с двумя фундаментальными препятствиями. Во-первых, отображение своих проблем на столпах неестественно для людей, не глубоко разбирающихся в заслуживающей доверия области ИИ. Во-вторых, даже после того, как проблема доверия будет решена с помощью основополагающего подхода, создание полного решения с использованием доступных инструментов может вызвать затруднения.

Проблема 1. Использование столбов для понимания опасений пользователей, связанных с доверием

Наш разработчик, занимающийся вопросами утверждения ипотеки, знает, что пользователи компании хотят получить ответы на простой вопрос: почему не была одобрена моя ипотека? Но этот вопрос не совсем четко отражен в основных принципах. Разбивка этого вопроса приводит к появлению большего количества вопросов внутри, каждый из которых соотносится с разными столпами (не все столпы будут применяться к данной проблеме):

  • Справедливость - Почему моего друга одобрили, а меня нет?
  • Объяснение - Что мне нужно сделать по-другому, чтобы получить одобрение в следующий раз?
  • Конфиденциальность - В безопасности ли мои данные в этой компании?

Такое решение проблем конечных пользователей требует глубокого понимания области доверия, которое выходит за рамки даже опытных разработчиков машинного обучения и специалистов по данным. Тем не менее, когда наш разработчик ипотечного кредита выбирает инструмент для своей задачи, она сталкивается с инструментами, которые предполагают, что у нее есть эти знания.

Как создатели инструментов доверия, мы знаем, что если мы хотим, чтобы наши инструменты приносили пользу нашим клиентам, нам нужно разрабатывать их с более целостной точки зрения. Эта перспектива должна включать все основные столпы в один инструмент с дополнительными указаниями о том, с чего начать.

Проблема 2: сочетание методов доверия создает конфликты

Допустим, вы специалист по обработке данных, отвечающий за выбор алгоритма машинного обучения, чтобы предсказать, следует ли одобрять ипотеку. Вы знаете, что хотите, чтобы процесс построения модели был ориентирован на доверие, поэтому вы переходите и проверяете, что рекомендуется для решения вашей проблемы.

Вы обнаружите целый ряд моделей логистической регрессии, разделенных по разным инструментам для согласования с каждым столпом.

Три разных набора инструментов; три разных и противоречивых подхода. Вы можете выбрать только одну модель, чтобы предсказать, какие ипотечные кредиты следует одобрить, поэтому вы можете сделать вывод, что вам нужно выбирать между справедливой моделью, объяснимой моделью и моделью, которая защищает конфиденциальность пользователей. Хуже того, если вы уже обучили модель с помощью стандартных инструментов разработки ИИ, замена вашей модели на любую модель, основанную на доверии, может показаться не стоящим потенциального компромисса в точности.

Навигация по инструментам доверия

Распределив методы доверия между столпами, эти конфликты не будут очевидны для конечного пользователя. Если мы изменим методы доверия, чтобы распределить их по жизненному циклу ИИ, станет легче увидеть возможные модификации доверия, затрагивающие все соответствующие компоненты.

  • Для справедливости вы можете сосредоточиться на подходах к перебалансировке данных, добавив веса к обучающим точкам данных, чтобы алгоритмы машинного обучения придавали традиционно непривилегированным группам в наборе данных повышенное значение. Повторная оценка таких образцов - обычная операция доверия, используемая на различных уровнях доверия.
  • Для объяснимости вы можете изучить подходы суррогатной модели, в которых вы обучаете альтернативную модель во время обучения или прогнозируете время, которое более интерпретируемо, чем ваша исходная модель.
  • Для конфиденциальности вы можете применить преобразования данных, которые создают искусственную версию обучающих данных с тем же распределением, что и исходный обучающий набор данных.

Поскольку эти методы обращаются к разным частям жизненного цикла, их можно использовать вместе без конфликтов. Формируя наш подход на протяжении всего жизненного цикла машинного обучения и предлагая пользователям более глубокое понимание основных операций, составляющих доверительные решения, мы можем создавать инструменты, которые позволяют создавать комплексные доверительные решения.

Разработка инструментов доверия для всех

Мы узнали довольно много с тех пор, как впервые выпустили набор инструментов 360, организованный вокруг надежных основ ИИ. Теперь, когда мы выявили проблемы, с которыми сталкиваются разработчики при использовании текущих инструментов доверия, мы можем начать переосмысление инструментов, которые более естественным образом соответствуют потребностям клиентов и пользователей в отношении доверия. Следите за обновлениями, чтобы увидеть следующую часть нашего путешествия, в которой мы расскажем вам больше о том, как мы продвигаемся к архитектуре решения.