Путь к пониманию взаимосвязи между доверием пользователей и надежными системами
В соавторстве с Миной Фармараджа и Дэвидом Дугласом
Многие методы были разработаны для обеспечения справедливости, прозрачности и подотчетности в прогнозах, сделанных системами искусственного интеллекта (AI) и машинного обучения (ML). Технический подход часто является центральным элементом этих методологий, однако для разработки действительно этичных систем машинного обучения, которым могут доверять их пользователи, важно дополнить это подходом, ориентированным на человека.
Глубокое понимание людей, контекстов и сред, связанных с этими системами, может обеспечить основу для разработки и представления информации таким образом, чтобы люди, использующие системы, могли принимать взвешенные решения о том, следует ли им доверять им.
Мы определили некоторые из ключевых моментов для принятия ориентированного на человека подхода к созданию систем машинного обучения, разбив этот сложный и очень технический мир, чтобы понять компоненты доверия и передовой опыт разработки надежных систем машинного обучения. Здесь мы познакомим вас с некоторыми процессами и полученными знаниями на примере недавнего проекта с участием австралийских правоохранительных органов.
Подключение технологий к людям, которые будут их использовать
Как группа разработчиков продуктов и дизайнеров, работающая в национальной исследовательской организации, мы применяем ориентированный на человека дизайнерский подход к разработке технологий.
Это означает изучение пользователей создаваемой нами технологии, чтобы убедиться, что мы понимаем их контекст - их проблемы, потребности и работу, которую предстоит выполнить. Мы сотрудничаем с социологами для дальнейшего изучения социальной идентичности и динамики, связанных с этими средами, контекстами и людьми, вместе вырабатывая ключевые идеи, необходимые для создания инклюзивной системы, учитывающей разнообразие потребностей.
Этот процесс отвлекает нас от результатов программного обеспечения, позволяя нам учитывать социальные и этические последствия создаваемой нами технологии.
Мы считаем своей обязанностью создавать ответственные технологии.
Контекст проекта
В сотрудничестве с австралийскими правоохранительными органами наша задача заключалась в том, чтобы расширить возможности агентств по графическим данным и повысить зрелость их инфраструктуры графовых данных за счет разработки системы программного обеспечения для анализа графов, основанной на машинном обучении.
Высокие ограничения безопасности означали, что работа с экспертами в правоохранительных органах и общение с ними имели множество ограничений, что ограничивало нашу способность составить полную картину того, что нам нужно было решить, с полным контекстом.
Что мы можем установить, так это то, что эксперты по предметным областям и данным, занимающиеся расследованием уголовных дел, используют данные для создания аналитических сведений с целью выявления связей и закономерностей в данных, которые могут лечь в основу дальнейших действий следователей.
Мы также узнали, что многие их решения, основанные на данных, имеют серьезные последствия.
Человеческий подход к доверию пользователей
В последние годы были созданы важные рамки, описывающие риски и недостатки искусственного интеллекта и машинного обучения, что способствовало диалогу об этических последствиях этой технологии.
Мы используем предметно-ориентированный и ориентированный на человека подход к проектированию, чтобы облегчить взаимодействие человека с конкретной системой машинного обучения. Это позволяет проанализировать критически важные компоненты, которые необходимы конкретному пользователю, чтобы укрепить его доверие к результатам модели и, в конечном итоге, к надежности конкретной системы.
В рамках этого проекта мы тесно сотрудничали с заинтересованными сторонами, пользователями и бенефициарами системы, чтобы разработать каждый компонент, чтобы они могли интерпретироваться, оцениваться и доверять людям, которые их используют.
Эта точка зрения привела нас к нашему ключевому исследовательскому вопросу: Для экспертов, принимающих решения с высоким риском и серьезными последствиями, какие условия необходимы им, чтобы принять и использовать прогнозируемые данные из модели машинного обучения, чтобы помочь в принятии решений. в своей работе?
Изучение социальной идентичности и динамики наших пользователей
Чтобы расширить наше понимание социального контекста людей, которым необходимо было взаимодействовать с нашей системой машинного обучения для этого проекта, мы сотрудничали с Научной платформой ответственных инноваций будущего для изучения концепций машинного обучения, доверия к автоматизации и уголовного расследования. Кульминацией этого стал недавно опубликованный отчет Машинное обучение и ответственность в уголовных расследованиях.
В отчете объясняются обязанности следователей по уголовным делам и то, как эти обязанности могут быть затронуты при использовании ОД. Он определяет факторы, которые влияют на уровень доверия пользователей к автоматизированным системам, и то, как на это доверие могут влиять различные социальные и экологические факторы.
С помощью сочетания пользовательского опыта и социальных наук мы изучили, как уровень доверия исследователей к результатам систем машинного обучения может быть откалиброван, чтобы отразить надежность этих систем.
Три взаимосвязанных концепции доверия
Концепция доверия, надежности и откалиброванного доверия имеет решающее значение при использовании людьми систем машинного обучения для принятия решений с высоким риском. Эти концепции доверия взаимозависимы, поэтому важно уточнить их термины:
- Доверие пользователя - «Я доверяю системе выполнить эту задачу».
Это доверие воплощается в жизнь пользователем и может быть вызвано множеством факторов, например их общей готовностью доверять автоматизации, обучению опыт, ситуационные факторы, такие как настроение, рабочая нагрузка и сложность задачи. - Надежность системы - «Система достаточно надежна, чтобы выполнять эту функцию».
Ответственность за демонстрацию того, насколько она заслуживает доверия пользователя, лежит на системе, обычно для конкретной функции в конкретный контекст. - Калиброванное доверие - «Доверие пользователя откалибровано с учетом надежности системы».
В идеале доверие пользователя к системе машинного обучения соответствует ее возможностям. Независимо от того, насколько надежна система, пользователь может сделать вывод о том, как наилучшим образом использовать ее прогнозы.
Как и любую проблему хорошего дизайна, проблему доверия к машинному обучению гораздо легче понять, если она находится в контексте. Кому нужно доверять результатам системы машинного обучения и почему им нужно доверять им? Что им нужно делать с информацией, насколько хорошо они могут ее оценить и какой цели они стремятся достичь, используя ее?
Пользователи данных
Есть два основных пользователя, которые используют данные для понимания сетей в рамках уголовных расследований:
- Аналитики разведки являются экспертами в понимании бизнес-требований к данным, но не обладают техническими знаниями и полагаются на специалистов по данным при использовании больших данных.
- Специалисты по обработке данных являются экспертами в создании решений для обработки данных, но при решении бизнес-задач полагаются на экспертов в предметной области.
Основная причина, по которой эти люди используют данные, - это создание разведданных, которые могут повлиять на расследование и в конечном итоге привести к судебному преследованию. Многие решения с использованием данных имеют серьезные последствия; надежность системы критически важна для доверия пользователей .
Другой, более второстепенный пользователь, которого мы называем «посредником» - менеджер проекта или бизнес-аналитик - управляет проектами и процессами данных, часто отстаивая новые инструменты и методологии.
Экосистема данных
Следующая диаграмма представляет собой визуальное представление того, откуда данные обычно берутся в ходе уголовных расследований, трансформации, которой они подверглись при применении к нашей системе машинного обучения, а также некоторых путей, которые могут возникнуть в результате анализа данных, производимого системой.
Затем мы накладываем на экосистему данных некоторые проблемы, выявленные в ходе нашего исследования (например, информацию, необходимую для точной передачи данных прогнозов, потребность в грамотности машинного обучения в отрасли и т. Д.).
Это довольно высокоуровневые сопоставления экосистемы, которые являются лишь показателем значительного контекста, который мы обнаружили в ходе нашего исследования, но они предоставили способ стимулировать разговоры с командами и заинтересованными сторонами, с которыми мы работали, по вопросам развития доверия пользователей, надежности системы и откалиброванного доверия. Они также послужили отправной точкой для понимания того, кто отвечает за каждую часть системы и какую роль они играют в смягчении возникающих проблем.
Существующая литература
Чтобы лучше понять доверие к машинному обучению, был проведен обзор литературы с целью изучения методов и практик, используемых в настоящее время для укрепления доверия к алгоритмам машинного обучения.
Автор The Partnership on AI, « Отчет об алгоритмических инструментах оценки рисков в системе уголовного правосудия США », представил надежную оценку парадигматического примера потенциальных социальных и этических последствий автоматизированного принятия решений с помощью ИИ. В нем выделены три ключевые проблемы:
- Возможность оценивать точность, необъективность и валидность инструментов машинного обучения.
- Принятые стандарты в области управления, прозрачности и подотчетности
- Интерфейс между инструментами и людьми, которые с ними взаимодействуют.
Эти три ключевые области проблем отражают многие важные проблемы, выявленные в нашем обзоре другой литературы, который подробно описан в отчете, упомянутом ранее в этой статье. Поскольку исследователи пользователей и дизайнеры сосредоточили свое внимание на компоненте взаимодействия систем машинного обучения, мы сосредоточили внимание на третьей области проблемы. Однако важно отметить, что необходимо учитывать все эти области для технологических команд, создающих системы машинного обучения, безопасные для производственного развертывания.
Руководство передовой практикой
После завершения нашего исследования по визуализации прогнозируемых данных и потребностей, контекста и социальной динамики наших пользователей, команда намеревалась погрузиться непосредственно в разработку сценариев данных и визуализаций, чтобы проверить, насколько хорошо пользователи понимают свойства прогнозируемых данных и доверяют им в различных ситуациях.
Но наше исследование выявило пробел: передовая практика, похоже, еще не сложилась. В результате команда разработала набор практических руководств * (см. Сноску), чтобы принимать обоснованные решения на каждом этапе процесса проектирования и разработки и гарантировать, что в первую очередь всегда стоит ориентированный на человека подход.
К сожалению, строгие ограничения безопасности не позволили применить наши рекомендации для разработки реалистичных сценариев с реальными данными, используемыми для уголовных расследований.
Что дальше?
В ходе этого проекта мы значительно расширили наши знания в этой сложной области, углубив наше понимание ключевых вопросов и соображений в возникающем пространстве проектирования, основанного на доверии.
Пришло время проверить эти знания в нашем следующем исследовательском проекте и применить их на практике. Мы будем строить реалистичные сценарии, используя данные, относящиеся к определенной области, понимая критические компоненты, необходимые для пользователей системы машинного обучения, и узнавая, как они взаимодействуют с различными характеристиками прогнозируемых данных.
Следите за новостями в нашем следующем блоге, в котором мы поделимся разработанными нами руководящими принципами: «Рекомендации по созданию инструментов искусственного интеллекта для людей», а затем рассмотрим пример того, как мы применяем эти рекомендации на практике.
