Автор: Амирхоссейн Нуранизаде

Введение

В последние годы доступность больших объемов данных и вычислительных ресурсов в сочетании с технологией оптимизации привела к тому, что модели глубокого обучения преуспели в многочисленных задачах обучения представлению и принятия решений из различных областей. В некоторых случаях эти модели даже превышают точность человеческого уровня, демонстрируя, что искусственный интеллект может выполнять задачи, сравнимые с экспертами в области человека. Чтобы назвать несколько примеров, взгляните на недавнее достижение Microsoft в области обработки естественного языка, которое создает самую большую и мощную на сегодняшний день модель генеративного языка с 530 миллиардами параметров, или вычислительный метод DeepMind, который может регулярно предсказывают структуры белков с атомарной точностью даже в тех случаях, когда подобная структура неизвестна.

Однако всегда существует теорема бесплатного обеда, и успех моделей глубокого обучения достигается за счет определенных затрат. Мало того, что модели глубокого обучения требуют огромного количества высококачественных входных данных и обширных вычислительных ресурсов для обучения, эти модели также очень сложны, поскольку они имеют миллионы или даже миллиарды обучаемых параметров. Эта сложность превращает модели глубокого обучения в черные ящики, которые трудно анализировать. Другими словами, непрозрачность их механики затрудняет понимание цепочки их рассуждений, приводящих к определенным решениям, прогнозам или действиям. Следовательно, трудно доверять этим моделям и надежно применять их в деликатных ситуациях, когда необходимо понять контекст проблемы, например, в здравоохранении и на транспорте. Например, было показано, что модели глубокого обучения неустойчивы к небольшим целенаправленным возмущениям, называемым состязательными примерами, которые резко снижают их производительность.

Из-за слабости таких моделей черного ящика в сообществе машинного обучения появилась новая область под названием объяснимый искусственный интеллект. Цель объяснимого искусственного интеллекта — создавать более объяснимые модели, сохраняя при этом их высокую производительность.

Зачем нужна объяснимость?

Термин объяснимость часто используется параллельно с термином интерпретируемость. Тем не менее, в сообществе машинного обучения нет математически строгого определения объяснимости, поскольку оно зависит от контекста проблемы и аудитории, которой предоставляются эти объяснения. Однако существует несколько требований, которым должна соответствовать объяснимость машинного обучения, а именно: надежность, причинно-следственная связь, надежность, справедливость и конфиденциальность.

  • С психологической точки зрения объяснения — это валюта, которой люди обмениваются убеждениями. Другими словами, объяснения — это ответы на вопросы почему, и ответы принимаются только в том случае, если они имеют смысл. Эта точка зрения предполагает, что для моделей машинного обучения необходима надежность или, что то же самое, крайне важно знать, как часто модель верна и для каких примеров она верна. Этот аспект объяснимости моделей машинного обучения связан с социальным правом на объяснение, которое относится к индивидуальным правам на представление причин решений, которые существенно влияют на человека, особенно в юридическом или финансовом плане.
  • Объяснимость также важна, когда вы хотите использовать модель машинного обучения для создания гипотез о причинно-следственных связях между переменными. Поэтому часто желательно, чтобы модель улавливала причинно-следственные связи, а не простые ассоциации и корреляции.
  • Надежность – еще одна потребность в моделях машинного обучения. Системы машинного обучения должны быть устойчивы к зашумленным входным данным и сдвигам в области входных данных. В этих условиях поведение модели черного ящика непредсказуемо.
  • Кроме того, модели машинного обучения должны быть справедливыми при применении в условиях принятия решений, таких как социальная, медицинская или экономическая среда. Чтобы быть более точным, на результаты модели машинного обучения не должны влиять предубеждения в обучающих наборах данных (например, возможные демографические и расовые предубеждения).
  • Наконец, модели машинного обучения должны сохранять конфиденциальность конфиденциальных личных данных, поэтому для этих моделей важно иметь прозрачную механику.

Кому выгодна объяснимость?

Создание объяснений для моделей машинного обучения, развернутых в промышленных условиях, зависит от конкретной аудитории этих моделей машинного обучения. Различные заинтересованные стороны требуют объяснений моделей машинного обучения, и пока сообщество машинного обучения, похоже, не оправдывает ожиданий. Эти заинтересованные стороны включают,

  • Конечные пользователи модели машинного обучения, которые напрямую потребляют выходные данные этих моделей и требуют объяснений, чтобы доверять этим выходным данным. Помощь конечным пользователям в построении доверия к тому, как эти модели принимают решения, приводит к лучшему пользовательскому опыту.
  • Руководители и лица, принимающие решения предприятия, которые используют результаты таких моделей для разработки бизнес-стратегии предприятия.
  • Исследователи данных и инженеры по машинному обучению, которые разрабатывают и внедряют эти модели и должны полностью понимать механизм таких моделей.
  • Эксперты в предметной области, которых часто просят проверить эффективность этих моделей.
  • И, наконец, регулирующие органы, которые могут потребовать, чтобы эти модели удовлетворяли определенным критериям, прежде чем применять их в реальных условиях.

Согласно исследованию, проведенному примерно в пятидесяти организациях, большинство предприятий, которые внедрили методы объяснения в своей организации, используют объяснения как средство, помогающее ученым, работающим с данными, и инженерам по машинному обучению разрабатывать модели, а не представлять их конечным пользователям. Это указывает на то, что сообществу машинного обучения необходимо приложить еще много усилий для создания объяснимого искусственного интеллекта.

Объяснимость через призму ученых данных

Объяснимость моделей машинного обучения расширяет возможности процесса проектирования этих моделей с технической точки зрения. Исследователи данных и инженеры по машинному обучению могут воспользоваться объяснимой моделью в нескольких случаях использования. Одним из основных применений объяснимости является отладка моделей. Исследователь данных должен понимать поведение модели, особенно когда она применяется к конкретным входным данным, которые приводят к низкой производительности. Наличие объяснимой модели помогает специалистам по данным узнать взаимосвязь между различными функциями и измерить вклад каждой функции в итоговый результат. Кроме того, объяснимость модели помогает ученым, работающим с данными, в процессе разработки функций, что приводит к повышению производительности модели.

Еще одним преимуществом объяснимости является отслеживание производительности модели после ее развертывания. Поскольку в реальных условиях распределение входных данных модели может меняться со временем, важно иметь представление о реакции модели на дрейфы в распределении входных признаков и предвидеть, когда система выйдет из строя. Кроме того, объяснимая модель позволяет специалистам по данным представлять поведение своей модели другим организационным группам и сотрудничать с ними для проверки модели и повышения ее производительности.

Обзор методов

До сих пор мы обсуждали объяснимость модели машинного обучения и ее мотивы. Теперь давайте проведем общий обзор методов ее достижения. Стоит отметить, что не все модели машинного обучения имеют непрозрачные механизмы. Некоторые базовые модели по своей природе прозрачны, такие как логистическая/линейная регрессия, k-ближайших соседей, деревья решений, байесовские модели, обучающиеся на основе правил и общие аддитивные модели. Хотя эти модели могут объяснить их поведение, они могут не достигать производительности более сложных моделей, таких как искусственные нейронные сети, в различных задачах машинного обучения. С другой стороны, сложные модели, такие как нейронные сети, носят характер черного ящика и требуют пояснений. В общем, существует компромисс между производительностью модели машинного обучения и ее объяснимостью. Тем не менее, есть ситуации, когда объяснимость модели так же важна, как и ее производительность, и выбор модели машинного обучения зависит от контекста задачи.

Объяснение сложных моделей машинного обучения может быть достигнуто с помощью апостериорных подходов, которые пытаются извлечь полезную информацию о механике модели после ее обучения. В литературе по машинному обучению существуют различные таксономии методов объяснимости в зависимости от разных точек зрения. В самом общем виде методы объяснимости можно разделить на независимые от модели и зависимые от модели. Как следует из их названий, методы, не зависящие от модели, относятся к тем методам, которые могут применяться к любой модели машинного обучения, тогда как методы, специфичные для модели, адаптированы для конкретных моделей. Каждый из этих методов может иметь локальные или глобальные варианты. Методы локальной объяснимости направлены на объяснение поведения модели для конкретной входной выборки, в то время как методы глобальной объяснимости пытаются понять высокоуровневые концепции и рассуждения, используемые моделью. Методы локальной объяснимости являются наиболее используемыми методами в организациях.

Наиболее распространенным методом локальной объяснимости являются методы атрибуции. Методы атрибуции неявно или явно используют градиентную информацию модели относительно входных данных и измеряют вклад каждой входной функции в выходные данные модели. Двумя хорошо известными методами атрибуции являются (локальные интерпретируемые модели-независимые объяснения) и (аддитивные объяснения Шепли). Мы подробно расскажем об этих методах в наших следующих сообщениях в блоге. Другими примерами методов локальной объяснимости являются контрфактические объяснения, которые пытаются найти точку данных, близкую к входным данным, для которых изменяется решение классификатора, и влиятельные выборки, которые пытаются найти наиболее важные обучающие данные указывают на выходные данные модели для конкретных тестовых данных. Подробный обзор техники объяснения вы можете посмотреть в этом опросе.

Заключение

В этом сообщении блога мы обсудили объяснимость модели машинного обучения, ее мотивацию и потребности, а также обзор ее методов. Объяснимый искусственный интеллект является активной областью исследований как в промышленности, так и в научных кругах, и существует целый спектр различных методов, пытающихся его достичь. Мы прагматично погрузимся в более подробную информацию в будущих блогах и увидим эти объяснения в действии.

Первоначально опубликовано на https://datachef.co 3 ноября 2021 г.