Системы, которые полагаются на искусственный интеллект для принятия решений, часто представляют собой черные ящики, производящие значения, которые интерпретируются как имеющие определенное значение. Часто нет объяснения того, как система пришла к этим значениям. Такое отсутствие объяснения не может быть проблемой для таких задач, как прогнозирование доходов от просмотра фильмов, но будет препятствием для внедрения таких систем в строго регулируемых областях, таких как здравоохранение, финансы и армия.

Объяснение того, как принимаются решения, может уменьшить количество обвинений в предвзятости и, следовательно, может снизить вероятность судебного иска против частных и государственных организаций.

Могут быть конкретные бизнес-причины, по которым организации могут захотеть получить объяснения из своих моделей машинного обучения. Однако академическое сообщество вывело ряд общих случаев, когда могут потребоваться объяснения для выводов из сложных методов машинного обучения.

Основные общие случаи: Объясните, чтобы оправдать, Объясните, чтобы контролировать, Объясните, чтобы улучшить, и Объясните, чтобы обнаружить.

Адади и Беррада заявляют, что Объясните, чтобы оправдать, как правило, для решений или выводов, которые должны соответствовать законодательству или нормативным актам. В то время как Объясните, чтобы контролировать, нужно определить слабые стороны модели.

Объяснить, чтобы улучшить - это стратегия, в которой объяснения взаимосвязей между входными и выходными данными могут использоваться для улучшения модели, и, наконец, Объяснять, чтобы обнаружить - это метод, в котором используются объяснения. открывать для себя новую информацию.

В этом сообщении блога будет подробно рассмотрено, почему объяснимость важна для второй волны внедрения искусственного интеллекта, а также некоторые из основных методов получения объяснений из черных ящиков.

Интерпретируемость v Объяснимость

Интерпретируемость и объяснимость часто используются как синонимы в сообществах искусственного интеллекта (AI) и машинного обучения (ML). Но это описания несколько иных явлений. Существует ряд определений интерпретируемости, основными из которых являются Интерпретируемость - это степень, в которой человек может понять причину решения , и« «Интерпретируемость - это степень, в которой человек может последовательно предсказать результат модели. ».

Короче говоря, достаточно обученный человек сможет с определенной степенью ошибки предсказать результат модели, если параметр или функция были изменены во входных данных. Если это так, то человек будет иметь представление о том, как система приходит к решению или к выходному значению. Простые модели, такие как наивный байесовский классификатор, поддаются интерпретации человеком. Наивный байесовский классификатор основан на правиле Байеса и достаточно прост, чтобы его можно было задать как вопрос на экзаменах бакалавриата, и поэтому его можно рассматривать как интерпретируемую модель.

Более сложные модели, такие как глубокие нейронные сети, считаются черным ящиком, где модель, созданная нейронной сетью, является сложной, и вышеупомянутый достаточно обученный человек, вероятно, не сможет предсказать результат изменения входных параметров. .

Объяснимость, наоборот, это степень, в которой значения характеристик экземпляра связаны с его предсказанием модели таким образом, что люди понимают »или, проще говоря, Почему это происходит? ». Объяснения могут быть такими же простыми, как выделение важных слов в предложении, определяющее его классификацию. Пример этого явления можно найти здесь.

Связанный пример демонстрирует различия в способах принятия решения двумя отдельными классификаторами. Сверточная нейронная сеть (CNN) и машина опорных векторов (SVM) классифицируют текст по одним и тем же категориям, но CNN использует меньше, но более релевантных слов. SVM использует такие слова, как «есть», которые большинство людей не связывает с категорией пробелов, которой был назначен первый абзац.

Этот пример демонстрирует, что такая модель, как CNN, может быть не интерпретируемой, но все же может предлагать объяснения того, как модель приходит к классификации. Объяснимость не только дает некоторую уверенность лицам, принимающим решения, при принятии выходных данных от систем, зависимых от ИИ, но также дает некоторые признаки устойчивости лежащего в основе ИИ. Например, состязательные атаки могут обмануть системы классификации изображений, чтобы они интерпретировали знак остановки как знак ограничения скорости.

Объяснимые методы ИИ могут помочь сделать системы ИИ более устойчивыми к атакам этого типа.

Методы интерпретации

Наиболее полным обзором в этой области является исследование, проведенное Адади и Беррада, и они заявили, что существует два типа интерпретируемости: глобальная и локальная. Глобальная интерпретируемость облегчает понимание всей логики модели и следует всем рассуждениям, приводя ко всем различным возможным результатам », тогда как локальная интерпретируемость объясняет причины конкретного решения или единственного прогноза означает, что интерпретируемость происходит локально ».

Адади и Беррада утверждают, что глобальная интерпретируемость требуется, когда лицам, принимающим решения, требуется четкая картина всего процесса рассуждений. Они заявляют, что такой уровень интерпретируемости потребуется для проблем на уровне населения, таких как определение тенденций потребления наркотиков. В их статье перечислен ряд методов, таких как GIRP, с помощью которых может быть достигнута глобальная интерпретируемость.

Локальная интерпретируемость требуется, когда есть потребность в интерпретации единственного вывода. И снова Адади и Беррада предоставляют исчерпывающий список методов, которые можно использовать для обеспечения этой единственной интерпретации, наиболее известной из которых является локальное интерпретируемое независимое от модели объяснение (LIME), которое доступно в виде библиотеки Python благодаря своему авторы.

Объяснение Методы

Объясняемость методов машинного обучения может быть частью их дизайна. Адади и Беррада предоставляют список учащихся, которые были разработаны для объяснения, такие как Списки байесовских правил и Разреженные линейные модели.

Важность функции - это один из многих методов, которые можно использовать. В академической литературе существует ряд различных методик. Guidotti et al выпустили обзорную статью об объяснимых методах для систем черного ящика. Для краткости этот пост будет охватывать анализ чувствительности и графики частичной зависимости.

Анализ чувствительности

Анализ чувствительности « представляет собой исследование того, как неопределенность на выходе математической модели или системы (числовой или иной) может быть разделена и отнесена к разным источникам неопределенности на ее входе », и его можно использовать для увеличения понимание взаимосвязи между входными и выходными переменными в системе или модели ».

Эту технику использовали Шу и Чжу. Их метод нарушил ввод обучающих данных и измерил результаты вывода системы. Такой подход позволяет авторам оценить чувствительность модели к входным параметрам и полученным выходным данным. Таким образом, по этим результатам можно оценить взаимосвязь между входами и выходами.

Частично зависимый участок

Этот метод представляет собой метод визуализации, который показывает предельное влияние, которое одна или две функции оказывают на прогнозируемый результат модели машинного обучения, и его цели, возможно, те же, что и анализ чувствительности, потому что оба они пытаются вывести взаимосвязь между входными данными. и выходы, и из этого вывести общую модель. Графики частичной зависимости доступны в основных библиотеках машинного обучения, таких как scikit-learn. Примеры показаны на следующей диаграмме.

Графики оценивают зависимость выходной переменной: цены дома с различными характеристиками, такими как Возраст дома (HouseAge). Графики, в частности, медианный доход, демонстрируют взаимосвязь между входным признаком и выходной переменной.

Будущее?

Интерпретация и объяснение, грубо говоря, пытаются прямо или косвенно достичь той же цели, которая состоит в том, чтобы заменить машинное обучение алхимии, где волшебный черный ящик производит выводы, которым непосвященный должен безоговорочно доверять, системе, которая предоставляет причины, почему это произошло. свои решения. За этой областью, без сомнения, будущее машинного обучения и систем искусственного интеллекта.

Маловероятно, что антиутопия научной фантастики об ИИ станет реальностью, потому что системы могут быть привлечены к ответственности и следует избегать внезапных тенденций к убийствам вымышленных будущих систем, таких как HAL, потому что люди-операторы будут проинформированы о его злонамеренных намерениях.

В реальном мире появление объяснимого ИИ, вероятно, ускорит внедрение систем ИИ в зрелых и строго регулируемых отраслях, где лица, принимающие решения, могут быть уверены, что решения принимаются надежной системой, которая может предложить объяснения для своих выводов. Плохие или слабые выводы могут быть отклонены. Объяснимый ИИ также облегчит принятие ИИ моральных решений, таких как уход в конце жизни и увольнение с работы.

Первоначально опубликовано на https://www.skimtechnologies.com 28 мая 2019 г.