Искусственный интеллект ежедневно меняет мир, который мы знаем. Но если мы доверяем ему делать все больше и больше выборов, что, если нам не нравятся принимаемые решения? Что происходит, когда ИИ нам в чем-то отказывает, а мы просим объяснений?

В конце концов, компании должны объяснять свои рассуждения или логику, и использование ИИ не избавляет их от этого факта. По большей части клиенты довольны, когда получают желаемые результаты, но что происходит, когда приложениям отказывают, а те же клиенты просят объяснений?

Состояние ИИ

Одним из таких примеров разрушительного распространения ИИ является торговля. По словам Арта Хогана, главного маркетингового стратега B. Riley FBR, роботы выполняют от 50% до 60% заказов Уолл-стрит на покупку и продажу.

  • Более 70% руководителей, принявших участие в исследовании PwC 2017 года, считают, что ИИ повлияет на все аспекты бизнеса.
  • Аналогичным образом, Gartner оценивает, что бизнес-ценность искусственного интеллекта достигнет 3,9 триллиона долларов (3 миллиарда фунтов стерлингов), из которых около 44% будет потрачено на варианты использования поддержки принятия решений / расширения.
  • McKinsey также прогнозирует, что ИИ может обеспечить к 2030 году глобальную экономическую активность на уровне около 13 триллионов долларов (10 миллиардов фунтов стерлингов).

Понятно, что у искусственного интеллекта большой потенциал для бизнеса, и неудивительно, почему; Глубокое обучение и вычислительные мощности позволяют автоматизировать сложные задачи, такие как обнаружение объектов, классификация объектов, видео- и голосовая аналитика, не говоря уже о растущем секторе обработки естественного обучения.

Но здесь в игру вступают вопросы подотчетности и объяснимости. Компании несут ответственность за свои действия. Когда эти действия определяются автоматизированными процессами, компании должны иметь возможность выполнять этот процесс.

Проблема черного ящика

В кругах искусственного интеллекта эта проблема с объяснимостью известна как проблема «черного ящика». Лучший пример этого явления можно найти в моделях глубокого обучения, которые могут использовать миллионы параметров и создавать чрезвычайно сложные представления наборов данных, которые они обрабатывают.

Мы знаем, что входные данные, такие как данные, входят в такое решение, и мы знаем, что приходит ответ или решение. Середина часто неизвестна. Такие проблемы очень часто можно найти в нейронных сетях, которые из-за их сложности часто называют методами черного ящика. Они могут обеспечивать высокоточные прогнозы после обучения с большими наборами данных, но человек не может понять внутреннюю структуру, особенности и представления данных, которые модель использует для выполнения конкретной задачи.

Решение этой проблемы и обеспечение понимания - вот на чем фокусируется объяснимость ИИ.

Почему объяснения имеют значение?

Прежде всего, давайте четко заявим, что существуют ситуации, в которых могут работать такие решения типа «черный ящик».

Этот тип ИИ приемлем для случаев принятия большого количества решений - последствия отказа относительно мягкие - например, онлайн-рекомендации (Netflix, Amazon, онлайн-реклама и т. Д.). Здесь понимание того, как работают внутренние алгоритмы, не имеет значения, если они обеспечивают ожидаемые результаты (например, для онлайн-рекламы это будет более высокий доход).

Поскольку ИИ окружает нас повсюду, от умных носимых устройств и бытовой техники до систем онлайн-рекомендаций, мы давно приняли тот факт, что ИИ принимает решения в отношении нас, и мы точно не знаем, как эти решения были приняты, даже если они несправедливы. Нас не волнует, что служба машинного обучения Netflix порекомендовала ужасный фильм, потому что влияние на нашу жизнь в конечном итоге минимально.

Именно там, где этот риск минимален, у нас возникают проблемы с такой необъяснимостью. Неспособность ИИ объяснить свои аргументы пользователям-людям является огромным препятствием для внедрения ИИ в таких сценариях, где последствия отказа серьезны. Это включает в себя оценку кредитного риска или медицинскую диагностику, когда на карту поставлено очень многое.

На самом деле, само собой разумеется (но мы все равно это скажем): чем выше цена неправильного принятия решений, тем больше потребность в объяснимом ИИ.

Доверие, бизнес и регуляторы

Эти вопросы доверия также важны в различных отраслях и организациях. По данным глобального опроса руководителей компаний PwC, проведенного в 2017 году, 67% респондентов считают, что ИИ и автоматизация негативно повлияют на доверие заинтересованных сторон к отрасли.

Эти опасения заметили не только компании. Европейский Союз ввел право на объяснение в Общих правилах защиты данных (GDPR) в попытке решить потенциальные проблемы, вызванные растущим использованием и важностью этих алгоритмов искусственного интеллекта.

Мы поговорим о конкретных регулирующих органах и их законодательстве позже. На данный момент достаточно знать, что этим вопросом занимаются не только компании, но и регулирующие органы, которые устанавливают четкие юридические требования к компаниям. Кроме того, есть также заказчик или конечный клиент.

Введение в объяснимость ИИ

XAI может принимать форму, например, объяснения на уровне данных, сфокусированного на обосновании конкретного решения. Подходящим примером этого может быть объяснение отклоненной заявки на кредит, потому что «заявка была отклонена, потому что случай аналогичен 92% отклоненных заявок».

Кому нужна AI-объяснимость - и зачем?

Несмотря на приведенные выше примеры, важно знать, что XAI требуется почти всем сторонам, а не только конечному заказчику. Кроме того, перспективы и требования к интерпретируемости уровня AI варьируются в зависимости от рассматриваемой группы пользователей.

Например:

  • Руководители требуют принятия соответствующих мер для защиты компании от непредвиденных последствий и репутационного ущерба.
  • Руководству необходим XAI, чтобы чувствовать себя достаточно уверенно для развертывания решений ИИ для коммерческого использования.
  • Пользователи должны быть уверены, что соответствующее решение AI принимает правильное решение.
  • Оба регулятора и хотят быть уверены, что технология работает в соответствии с этическими нормами.

Если еще не ясно: у всех есть доля в XAI.

Точно так же вот несколько реальных ситуаций, в которых оказывается ИИ, и то, как XAI может помочь.

Удобочитаемость

В этих случаях ИИ используется для поддержки решений. Пользователи этих систем не ищут ИИ для автоматического сбора всех данных и выработки конкретных рекомендаций. Их волнуют причины данных рекомендаций и то, что они могут с этим поделать.

Здесь подход черного ящика не работает; XAI имеет важное значение. Его реализация повысит как прозрачность, так и понимание бизнеса в отношении собственных сервисов искусственного интеллекта.

Обоснование решения

Также существует множество ситуаций, когда предприятиям необходимо обосновать свое решение. Ярким примером этого является увольнение (или даже прием на работу) сотрудника. Благодаря GDPR сотрудники имеют право на четкое обоснование любого решения, в котором они участвуют. Если компания использовала машинное обучение в этом процессе, но не понимает, как алгоритм пришел к своим выводам, это может иметь юридические последствия.

Как избежать непреднамеренной дискриминации

Поскольку на обучение ИИ сильно влияют наборы данных, которыми он питается, вполне возможно, что эти модели машинного обучения могут улавливать предвзятость в данных, что приводит к предвзятым или дискриминационным результатам.

Роль этики в машинном обучении становится все более важной, и мы уже видели примеры непреднамеренной дискриминации в реальном мире. Например, исследования 2015 года показали, что при поиске по запросу «CEO» в Картинках Google женщины показывались только в 11% случаев, тогда как реальное представительство в реальном мире (по крайней мере, в США) составляло 27%. При контакте при поиске «телемаркетинга» предпочтение отдается изображениям женщин (64%), хотя такая профессия делится поровну.

Подобные проблемы не являются сознательным решением ИИ - это что-то неотъемлемое от существующих данных. Тогда мы могли бы утверждать, что одна из ролей XAI состоит в том, чтобы убрать человеческую предвзятость из процесса. Нам нужно, чтобы машинное обучение было лучше нас.

Содействие совершенствованию

Например, при прогнозировании оттока ML может легко отмечать клиентов, которые уйдут, с очень точным прогнозом. Однако, даже если компания может быть уверена, что они собираются уйти, они понятия не имеют, почему - или что компания может сделать, чтобы заставить их остаться. У них нет полезной информации о каждом конкретном клиенте, чтобы разрешить ситуацию.

XAI может лучше понять этот процесс принятия решений и, надеюсь, дать ответ на вопрос «почему». Эти знания - идеальное начало для организаций, стремящихся лучше понять клиентов - они могут затем предпринять какие-то решительные действия, чтобы гарантировать, что больше клиентов останется.

В других ситуациях, таких как наше собственное Mesh Twin Learning, мы можем легко реализовать ML для повышения производительности и выполнения многочисленных микрооптимизаций, но что, если инженеры захотят использовать эти результаты для разработки расширения? Как и в финансовом секторе, XAI - это ответ.

Резюме - Каково текущее состояние XAI?

Рядом с проблемой объяснимости стоит подотчетность. Когда компании используют ИИ, всегда возникает вопрос, кто в организации за это отвечает. Если искусственный интеллект используется отделами, не ориентированными на технологии, высшее руководство должно повысить свои знания в области искусственного интеллекта. В конце концов, они должны быть уверены, что любой ИИ, опубликованный через их отдел, не вернется, чтобы нанести вред самой компании.

Что касается объяснимости самого ИИ, многие варианты уже доступны. Если вы используете деревья решений или более оптимизированное машинное обучение, довольно легко показать, как принимаются решения. Что касается нейронных сетей, мы уже открываем этот черный ящик и смотрим, какие ключевые факторы влияют на принятие решения.

Источники

Первоначально опубликовано на https://www.pgs-soft.com.