Создание ответственного ИИ для надежного машинного обучения

Доктор Скотт Зольди, директор по аналитике FICO, недавно выступил перед панелью ответственного ИИ в Сан-Паулу, Бразилия. Эта статья представляет собой отредактированную версию стенограммы его выступления.

Похоже, мир технологий участвует в гонке вооружений за создание самых мощных и, возможно, самых захватывающих заголовки систем искусственного интеллекта (ИИ). Но, чтобы констатировать очевидное, большая часть проблемы в гонке вооружений ИИ заключается в том, что специалисты по данным не строят модели способами, которые они сами могут понять. Модели рассматриваются как проекты по науке о данных; более крупные и сложные модели считаются более интересными, и специалисты по обработке и анализу данных сосредоточены на прогнозирующей способности как на конечном показателе производительности. Эти специалисты по данным не сосредоточены на интерпретируемости или объяснимости, и без этих приоритетов трудно объяснить, как модели ИИ работают с любым уровнем достоверности.

Много объяснимого ИИ… нет

Что еще хуже, индустрия искусственного интеллекта создала объяснимые алгоритмы искусственного интеллекта, которые также не являются действительно эффективными. Объяснимый ИИ существует уже более двух десятилетий; это не новая концепция, но в зависимости от того, какой объяснимый алгоритм ИИ используется, специалисты по обработке и анализу данных получают разные причины того, почему модель привела к такому решению.

В результате, когда специалисты по данным строят модели ИИ, которые они не могут объяснить, они применяют объяснимый алгоритм ИИ, чтобы найти причины. Но поскольку модели не поддаются интерпретации, маловероятно, что причина, по которой модель привела к такому решению, верна. Это не очень хороший способ объяснить модель.

Машинное обучение привносит неопределенность и предвзятость

Машинное обучение (ML) — это топливо, которое питает системы ИИ. Но проблема в том, что очень сложно объяснить, как работает машинное обучение.

Рисунок 1 показывает схему нейронной сети с тремя скрытыми функциями. Скрытые функции отвечают за изучение взаимосвязей между всеми входными соединениями и применение функции Tanh() для определения того, активирована ли конкретная скрытая функция. Если это так, скрытая функция передает эту информацию следующему слою. Насыщающиеся скрытые функции могут сигнализировать о поведении, которое в сочетании может привести к высокому кредитному риску или низкому кредитному риску при принятии решений моделью.

Проблема в том, что существует множество комбинаций входных данных, которые могут привести к насыщению скрытой функции. Мы называем это «режимами активации»; когда латентные функции насыщаются, у нас нет уверенности в том, какие отношения на самом деле привели к результату, поскольку эта проблема обычно мультимодальна.

Чтобы решить, что вызывает срабатывание скрытых функций и какие из нескольких режимов проявляются при срабатывании этих скрытых функций, нам нужны новые типы алгоритмов. В FICO мы сосредоточены на интерпретируемых алгоритмах машинного обучения. Мы подчеркиваем, что все модели машинного обучения должны поддаваться интерпретации, а не объяснению.

Шаги к интерпретируемости ML

FICO обеспечивает интерпретируемость, применяя другой тип ограничений при обучении нейронной сети, который минимизирует связи. В результате мы минимизируем количество режимов, которые могут активировать скрытую функцию. Более того, именно так FICO устраняет предвзятость в моделях, понимая, как изученные способы активации различаются между классами клиентов. Во многих частях мира незаконно устранять предвзятость, глядя на результаты модели, например, глядя на Оранжевую группу и Фиолетовую группу на рисунке 2. Здесь Оранжевая группа будет получать стабильно более высокие баллы, чем фиолетовая. Группа.

Активация скрытых функций должна быть одинаковой для всех классов. Это не отражает того, кто получит больше доверия, а кто меньше. Это говорит о том, что, например, для скрытой функции 33 взаимосвязь между общим балансом по ипотеке и количеством случаев взыскания сумм, превышающих 500 долларов, приводит к разной скорости активации в этих двух классах. Мы можем удалить эту взаимосвязь, введя в эту интерпретируемую модель дополнительные ограничения, которые запрещают взаимосвязь, изученную скрытым признаком 33. Таким образом, мы выявляем изначально предвзятые отношения между входными данными и удаляем их из решения, что иллюстрирует первостепенную важность использования интерпретируемой нейронной сети. сеть.

Выбор прозрачной архитектуры

Мы можем понять, какие из этих скрытых функций срабатывают и что заставляет их срабатывать. Мы также можем указать, какие отношения показали смещение в наших данных, и запретить их в решении. Это очень важно с точки зрения ответственного ИИ, потому что мы, специалисты по данным, можем выбрать прозрачную архитектуру. Мы можем выбрать архитектуру, которая выявляет предвзятость, и мы можем устранить эту предвзятость, наложив дополнительные ограничения.

Этот подход занимает центральное место в том, как мы в FICO рассматриваем ответственное использование ИИ; это требует такого уровня видимости. Некоторые люди скажут: «Большая модель должна быть лучше. Он узнает больше о данных». Правда в том, что более сложные модели, которые невозможно интерпретировать, особенно вне времени, как правило, работают не лучше. Они узнали шум о наборе данных для моделирования, они узнали о предвзятости, и, как правило, они не будут надежными вне времени, когда мы начнем использовать модель. Таким образом, ключевой частью ответственного использования ИИ является не только создание интерпретируемой и этичной модели, но и демонстрация того, что она работает в производственной среде.

Звуковой ИИ необходим

Сегодня в большинстве организаций нет записей о том, как была построена модель ИИ; они должны спросить специалиста по данным. Владельцы бизнеса вообще не понимают, как работает модель, и просто слепо доверяют ИИ. Поэтому нам необходимо, в рамках ответственного ИИ и управления ИИ, определить стандарт разработки корпоративной модели для того, как будут разрабатываться все модели. В этом стандарте есть утвержденный набор алгоритмов для обработки данных, утвержденный набор алгоритмов для построения модели и утвержденный набор алгоритмов для получения интерпретируемой модели и Этического ИИ.

Реальность такова, что если у вас есть 100 специалистов по данным и нет единого корпоративного стандарта разработки моделей, в конечном итоге у вас будет 100 различных способов построения моделей специалистами по данным. Такой подход не регулируется и совершенно опасен. Возможность аудита включает в себя разработку плана процесса разработки модели, который будет использовать организация, а затем демонстрацию того, что группа специалистов по обработке и анализу данных следует ему.

Кодификация процесса с помощью технологии блокчейн

В FICO стандарт управления разработкой модели включает в себя два основных компонента:

  • Кодификация процесса разработки модели
  • Контрольный журнал для оперативного использования модели.

Во-первых, каждая разработка модели влечет за собой список требований и целей. Он определяет, какая работа должна быть выполнена в разных спринтах разработки, критерии успеха и то, как отслеживается прогресс. Он идентифицирует именованные ресурсы, которые работают над требованиями модели, а также утверждения того, как требования модели были выполнены.

Чтобы продемонстрировать, что к этим требованиям относятся серьезно, мы поместили управление разработкой модели на блокчейн. FICO использует технологию блокчейн, потому что она предоставляет три важных элемента информации:

  • Неизменяемая запись решений, принятых в процессе разработки модели
  • Соблюдались ли различные аспекты процесса разработки
  • Как выглядят полученные результаты в производственной среде, что отслеживать и когда модель может дать сбой Ответственные направляющие ИИ в работе.

Используя блокчейн для управления разработкой модели, мы знаем, что движет моделью и как она работает. Мы также знаем, что может привести к тому, что модель не будет работать должным образом в производственной среде, и как это исправить.

Блокчейн показывает как успехи, так и неудачи в работе по удовлетворению требований, вплоть до того момента, когда мы встречаемся с окончательной моделью. Это способствует подотчетности; специалисты по данным очень серьезно относятся к своей работе, когда они подписали свое имя в неизменяемой цепочке блоков рабочих продуктов, связанных с разработкой моделей. Качество моделей повышается по мере того, как серьезность и влияние построения этих моделей становятся очевидными.

Вот что такое модель управления; по мере разработки модели она строится в соответствии со стандартом разработки моделей, который обеспечивает соблюдение лучших практик компании и показывает, что они соблюдались. Он создает запись, которую можно представить регулирующим органам, и, кроме того, указывает конкретные условия, при которых эта модель действительна для использования в производстве. В конечном счете, именно это делает машинное обучение и искусственный интеллект заслуживающими доверия, а ИИ — ответственным.

Доктор. Скотт Золди — директор по аналитике в FICO, отвечающий за искусственный интеллект (ИИ) и аналитические инновации в продуктах и ​​технологических решениях FICO. Работая в FICO, он является автором более 120 аналитических патентов, 80 из которых выданы, а 47 находятся на рассмотрении. Скотт — отраслевой лидер в области ответственного ИИ и ярый сторонник управления и регулирования ИИ. Его новаторская работа в области управления разработкой модели ИИ, в том числе запатентованное использование технологии блокчейна для этого приложения, помогла Скотту стать провидцем в области ИИ. Недавно он получил награды, в том числе награду Future Thinking Award на гала-вечере Business of Data от Corinium Global. Скотт входит в советы директоров Software San Diego и San Diego Cyber ​​Center of Excellence. Он получил докторскую степень. степень в области теоретической и вычислительной физики Университета Дьюка.

Собер или проект

O texto acima faz parte do Projeto «Управление искусственным интеллектом (IA): основа для криза, сделанного Comitê de Ética para projetos de IA». Os objetivos da pesquisa são, a partir de uma revisão sistemática da literatura Existente e de de uma de uma revisão sistemática da literatura isente e de de Debes com os principais stakeholdersdesse ecossistema: (i) desenvolver um framework para a formação do comitê де ética em IA, com a definição de seus objetivos, modelos, attribuições, responsabilidades e poderes, estrutura e membros; (ii) тщательно разработанные академические произведения искусства или темы; e (iii) apresentar os resultsados ​​em um evento acadêmico para ampla divulgação dos principais achados. Acompanhe о projeto Neste канал е эм Nossas Redes Sociais пункт Ficar пор Dentro дас обсудитьões.

Ele é desenvolvido pelo CEPI FGV Direito SP, принадлежащий Coordenação da Professora Marina Feferbaum, com a liderança de Alexandre Zavaglia e Guilherme Forma Klafke, e é formado por equipe de pesquisa composta por Deise Camargo Maito и Lucas Maldonado Diz Latini. A pesquisa tem o apoio das empresas B3 — A Bolsa do Brasil, DASA, FICO и Hub Mandic.

Como citar este artigo:

CEPI. Создание ответственного ИИ для надежного машинного обучения. Medium, 2023. Диспетчер: https://medium.com/o-centro-de-ensino-e-pesquisa-em-inova%C3%A7%C3%A3o-est%C3 %A1/здание-ответственный-ИИ-для-достоверного-машинного-обучения-98d6db33babc

В соответствии с мнением, которое выражается в том, что в отношении CEPI и/или в FGV, и/или в учреждениях, занимающихся поставками, не содержится сведений об ответственности за исключительные права авторов.

Siga o CEPI da FGV Direito SP nas redes sociais!

Você pode também receber por e-mail novidades sobre eventos, pesquisas e produtos do CEPI! Cadastre-se em nosso рассылка aqui.

Para saber mais sobre o CEPI, acesse o nosso site.