Появляется все больше литературы, посвященной интерпретируемому машинному обучению и объяснению выходных данных черного ящика людям, которые будут принимать реальные решения на основе результатов. Интерпретируемость прогностической модели — сложная и нюансированная тема. Например, AlphaGO, экспериментальное решение для глубокого обучения, созданное Google для игры в древнюю настольную игру го, недавно попало в заголовки газет, впервые победив гроссмейстера го. Это стало важной вехой для системы машинного обучения, поскольку го значительно сложнее шахмат. Когда мастера го заинтересовались выигрышной стратегией AlphaGO, перед создателями программы встал знакомый вопрос: почему она выбрала определенные ходы?

По словам Тони МакКэффри, автора статьи в Harvard Business Review, «большая часть информации была распределена по большим участкам нейронной сети и не могла быть резюмирована в аргументированном аргументе относительно того, почему был выбран конкретный ход. ”

Но почему игровые ходы имеют значение в контексте решения бизнес-задач? Полезна следующая аналогия:

Игровые ходы = принятые решения

Игроки = эксперты в предметной области

AlphaGO сделал несколько творческих и успешных ходов, но это не были ходы, которые опытный игрок-человек сделал бы в том же контексте. Делая ход, человек-эксперт задумывается над такими вопросами, как: насколько рискованно это решение, может ли оно проиграть мне игру и на чем основано это решение? МакКэффри продолжил: «Пока не станет возможным подведение итогов, менеджеры и генеральные директора, являющиеся экспертами в своих различных областях, не будут доверять компьютеру — или другому человеку, — который не может объяснить, почему творческий, но рискованный шаг является лучшим. Другими словами, МакКэффри утверждает, что реализация требует доверия, а доверие требует большей интерпретируемости.

Что такое интерпретируемость?

В Elder Research мы часто рассматриваем компромисс между интерпретируемостью модели и ее точностью. Например, для повышения точности прогнозирования лучше всего использовать нейронную сеть. Но заказчик хочет, чтобы результаты модели были «интерпретируемыми», поэтому вместо этого мы идем на компромисс и используем логистический подход.

регресс. Но что на самом деле означает «интерпретируемый», когда мы или наши клиенты говорим об этом? Конечно, человек, интерпретирующий модель, имеет значение; являются ли они экспертами (предметными или статистическими) или неэкспертами, и какую роль в принятии решений они играют? Нам также необходимо определить, почему данные интерпретируются: для государственных клиентов это может быть связано с соблюдением или регулированием, в то время как коммерческая компания может пытаться определить, следует ли принять определенную деловую практику. Мы можем интерпретировать данные для проверки их правильности или понимания того, как они работают.

Мы свели некоторые из этих различных версий интерпретируемости в четыре типичных вопроса, которые могут задать наши клиенты:

  • Как работает ваша техника?
  • Как на самом деле работает модель?
  • Чему вы научились у обученной модели?
  • Что стоит за оценками моделей?

Давайте рассмотрим каждый из этих вопросов, чтобы увидеть, как они определяют интерпретируемость с разных точек зрения. Неправильное толкование вопроса — а на каждый вопрос часто можно ответить двумя разными способами — может поставить под угрозу наши отношения с клиентами и успех наших проектов.

Как работает ваша техника?

Эффективная коммуникация между командой аналитиков, руководством и ключевыми заинтересованными сторонами жизненно важна для успеха проекта. Когда участники проекта или бизнес-лидеры задают этот вопрос, они обычно ищут две разные вещи: во-первых, разумно ли то, что вы предлагаете? Бизнес-лидеры хотят чувствовать себя комфортно, продвигаясь вперед с решением, поскольку они знают, что усилия будут стоить денег и ресурсов, и ставят на карту свою репутацию. Второй вопрос: можете ли вы эффективно донести до нас технические концепции? Они хотят знать, что команда аналитиков может общаться с ключевыми заинтересованными сторонами и теми, кто занимается нетехническими бизнес-дисциплинами, чтобы заручиться поддержкой проекта, а не мутить воду жаргоном и предполагаемым техническим запугиванием.

Как на самом деле работает модель?

Этот вопрос обычно задает кто-то в организации, который технически компетентен и не удовлетворен предыдущим вопросом. Они хотят понять детали того, как модель будет работать на практике. В качестве примера рассмотрим два недавних проекта, в которых клиенты задавали этот вопрос. В первом примере проекта мы работали с экспертом клиента. У него была докторская степень по статистике, и он разработал очень сложную статистическую основу для прогнозного обслуживания. Работая с нашей командой и задавая подробные вопросы, он получил больше информации о машинном обучении и таких методах, как лассо-регрессия. Когда мы обсуждали детали того, как работает лассо-регрессия, он сказал, что не может поверить, что впервые узнает об этом. Углубившись в технические проблемы с этим заинтересованным лицом проекта, мы укрепили доверие и поддержку проекта.

Во втором примере проекта мы работали с руководителем проекта, не являющимся экспертом, который руководил группой по расследованию мошенничества. После нескольких недель на проекте мы заметили некоторое напряжение в ее общении с нашей командой. Она спрашивала, как работает модель случайного леса, и мы дали ответы на высоком уровне, но ей нужны были технические подробности. В данном случае ее фактическим вопросом был наш четвертый вопрос (Что стоит за оценками модели), но мы все же ответили на ее заданный вопрос с помощью технического документа о том, как работают деревья решений (лежащие в основе случайных лесов). Она осталась довольна нашей отзывчивостью, и общение нормализовалось. Нам также нужно было ответить на ее невысказанный вопрос, но отсутствие ответа на ее выраженный вопрос создало у нее впечатление, что мы говорим с ней снисходительно, что, возможно, в конечном итоге сорвало проект.

Открытое общение жизненно важно для каждого аналитического проекта. Чтобы оценить интерпретируемость модели, заинтересованные стороны должны сообщить о бизнес-контексте и о том, как они будут использовать результаты модели. Специалисты по данным должны понимать потребности заинтересованных сторон и формулировать ответы, подходящие для аудитории. Цель — прозрачность алгоритма; Может ли представитель клиента изучить алгоритм, понять его и принять меры по результатам?

Чему вы научились у обученной модели?

Обучение модели включает разработку и выбор функций, избегая предвзятости и утечек из будущего, а также делая компромиссы на основе бизнес-целей. После того, как вы все это сделали, что вы узнали, чем можете поделиться с заинтересованными сторонами проекта? Сюда входят вопросы о производительности модели и о том, что мы узнали о бизнесе.

Во-первых, насколько хорошо модель будет работать после развертывания? Ответ требует тщательного тестирования, в том числе методов, которым уделяет особое внимание Elder Research, таких как тесты перестановки (которые мы называем перетасовкой целей). Результат жизненно важен для принятия решения да/нет, и ставки резко возрастают после принятия решения да, поэтому клиент должен знать надежные ожидания в отношении эффективности, а не чрезмерно оптимистичные, которые предлагают типичные процедуры из учебника.

Второй вопрос: что нового вы узнали из обученной модели о нашем бизнесе? Какие функции являются основными движущими силами, какие функции оказывают положительное или отрицательное влияние, а какие функции оказываются не такими влиятельными, как мы думали? Это то, что мы могли бы назвать результатами «белой книги», где модель используется для извлечения информации о бизнесе.

Что стоит за оценками моделей?

При фактическом использовании аналитической системы пользователи могут задать следующий вопрос: куда мне обратиться, чтобы подтвердить и отследить результаты модели? Например, компания Elder Research разработала модель для оценки и ранжирования дел с высокой степенью риска для группы расследователей мошенничества. Клиенту было трудно добиться прогресса в некоторых случаях высокого риска, которые были оценены методами машинного обучения черный ящик. Они не знали, где искать данные, чтобы подтвердить риск и собрать связанные с риском подробности дела для расследования. Это важно в ситуациях, когда судебное дело должно быть возбуждено на основании данных. Судья, скорее всего, не примет только оценку алгоритма как причину для обоснования расследования. Необходимо понимать основные факторы, из-за которых дело получило высокий балл. Эта объяснимость несколько отличается от прозрачности.

Вывод

Эффективная интерпретируемость статистической модели зависит от того, кто ее интерпретирует и с какой целью. Прежде чем строить модель, мы, специалисты по данным, должны выслушать тех, кто будет интерпретировать результаты модели и действовать в соответствии с ними. Нам нужно убедиться, что мы понимаем бизнес-контекст модели, а также должным образом понимаем и отвечаем на вопросы клиентов о нашем подходе. Если пользователям нужно только следовать решению модели и не нужно его обосновывать, большинство проблем интерпретируемости теряют свою значимость. В случаях, требующих интерпретации деталей оценки или обоснования результатов, инструменты, которые мы можем использовать из нашего набора инструментов моделирования, могут быть более ограниченными. Требования к интерпретируемости модели могут даже быть такими, что нам приходится выбирать между построением более простой модели или более сложной.

Запросить консультацию, чтобы поговорить с опытным консультантом по анализу данных.

Выпущено

Читать блог В поисках баланса: точность модели и интерпретируемость в регулируемых средах

Читайте блог Стратегия управления аналитикой: семь вопросов, которые помогут добиться успеха

Первоначально опубликовано на www.elderresearch.com.