Вкладывайте деньги туда, где у вас есть машинное обучение: укрепляйте доверие к критически важному для бизнеса ИИ

Промышленные записки

Вкладывайте деньги туда, где у вас есть машинное обучение: укрепляйте доверие к критически важному для бизнеса ИИ

В этой статье рассматривается вопрос о доверии искусственному интеллекту (ИИ) при обработке транзакций. За последние три десятилетия структура управления моделями претерпела изменения и стала напряженной из-за увеличения сложности модели, что сделало ее основные методологии непригодными. Оценивая, что значит доверять модели ИИ, мы рассмотрим модернизации этой структуры, направленные на установление и поддержание доверия, используя философию непрерывного статистического тестирования.

Потребители ожидают, что банки одновременно защитят их деньги и предоставят неограниченный доступ к средствам, особенно в случае чрезвычайной ситуации. В свою очередь, у банков нет другого выбора, кроме как верить в то, что их автоматизированные системы обработки данных принимают правильные решения при утверждении транзакций. Эти решения должны быть автоматизированы - тысячи решений должны быть приняты в течение нескольких миллисекунд, поэтому проверка вручную квалифицированным человеком невозможна.

С точки зрения банка, эти решения имеют серьезные финансовые последствия. Одно неверное решение о подлинной покупке может привести к безвозвратной потере хорошего покупателя. С другой стороны, одно неверное решение о мошеннической покупке может привести к мгновенной потере миллионов долларов. Финансовым учреждениям ничего не остается, как поставить маленького храброго ИИ перед воротами города и доверить ему свою работу. По мере того, как эти системы становятся более сложными, их становится все труднее резюмировать с точки зрения семантической логики. Последнее поколение ИИ для принятия решений на основе глубокого обучения, такое как Automated Deep Behavioral Networks от Featurespace, обещает беспрецедентную точность принятия решений, но они делают это за счет понятной человеку логики. Учитывая опасения по поводу того, что система может сойти с рельсов, как бизнес может укрепить доверие к новой сложной системе искусственного интеллекта, от решений которой зависит его будущее?

Модель управления

В 1980-х годах банки по всему миру первыми начали применять простые системы машинного обучения. Им удалось установить определенную степень доверия к этим системам отчасти потому, что логика могла быть разработана и проверена человеком. Этот процесс проверки называется модельным управлением, и современные банки обычно используют несколько групп модельного управления для независимой проверки моделей, используемых в бизнесе. Этот процесс настолько важен, что Федеральная резервная система издает правила, определяющие, как этот процесс должен выглядеть [1]. Управление моделью сосредоточено вокруг двух процессов: аудит модели перед развертыванием и мониторинг модели после ее развертывания.

Типовой аудит обычно фокусируется на трех вещах:

1. Изучение логики, закодированной в функциях, на достаточность и актуальность (то есть: разумно ли использовать эти функции?)

2. Изучение изученного классификатора, анализ его усвоенной логики и оценка его эффективности на данных проверки. Обычно сегментирование транзакций по разным подгруппам.

3. Изучение режима тренировок, созданного классификатором. Это включает в себя изучение данных, используемых для обучения и тестирования (чтобы убедиться, что они правильно помечены и репрезентативны для реальных данных), а затем анализ свидетельств того, что экспериментальные результаты подтверждают решения моделирования, принятые специалистом по данным (эти решения включают выбор алгоритма классификатора, выбор гиперпараметров и выбор функций, выбранных в качестве входных).

Подводя итог, можно сказать, что одна часть аудита - это статистическая оценка решений моделирования с использованием анализа результатов, а другая часть - качественная оценка логики. Для элементарных систем машинного обучения первого поколения, которые банки разработали для использования, логическая оценка была простой и математически корректной. Одним из наиболее распространенных простых классификаторов является алгоритм, известный как логистическая регрессия. Этот классификатор моделирует логарифм отношения шансов неизвестного исхода как взвешенную сумму функций n, предоставленных модели:

Обычно это используется с набором функций x1… xn, которые сами по себе представляют собой бинарные правила принятия решений, кодирующие логику, созданную человеком. Например, специалист по анализу данных может разработать одну из своих функций, как правило, чтобы оценить, представляет ли транзакция необычно высокие расходы для учетной записи на веб-сайте электронной коммерции посреди ночи:

Чтобы построить модель, специалист по данным определил бы сотни подобных правил. Они будут реализовывать логику для выявления мошенничества и логику для подтверждения подлинных расходов, используя знания предметной области, интуицию и информацию, полученную в результате исследовательского анализа данных. Затем веса признаков будут вычислены с помощью логистической регрессии. У подобранных весов есть разумная и значимая интерпретация: вес показывает, насколько более (или менее) вероятно, что, по мнению регрессора, транзакция окажется мошенничеством, при условии, что условия правила верны. Например:

· Если подобранный вес для правила равен 0,693 (натуральный логарифм 2), то регрессор в два раза более подозрительно относится к транзакции из-за логических факторов, закодированных в правиле.

· Вес, равный точно 0 (натуральный логарифм 1), означает, что регрессор научился игнорировать атрибуты, поскольку считает, что они не имеют отношения к делу.

При таком подходе правила принятия решений содержали логические идеи, которые могли быть проанализированы и проверены аудитором-человеком, а вес, присвоенный правилу, сообщил им, как именно эта информация использовалась. Если им не нравилось, как использовалась какая-то информация, они могли просто обнулить вес. В этом смысле классификатор можно было компоновать, правила можно было добавлять или удалять независимо. Веса рассказали аудиторам об агрегированной логике модели, а веса для конкретных правил, которые были ИСТИННЫ для этой транзакции, рассказали аналитикам точную логику, лежащую в основе каждого прогноза, сделанного моделью.

Хотя этим моделям легко доверять, они также являются рудиментарными и больше не предлагают уровень защиты, необходимый для обеспечения конкурентоспособности банка. Например, количество украденных счетов в Великобритании за год увеличилось на 55% с 1,8 млн до 2,8 млн в течение 2010-х годов [2]. Системы, которым банки доверяют на протяжении десятилетий, теперь переполнены масштабами и изощренностью мошенничества 21 века, что побуждает отрасль применять алгоритмы из самой мощной в настоящее время отрасли машинного обучения - глубокого обучения.

Эра глубокого обучения

В большинстве областей машинного обучения хорошо спроектированные алгоритмы глубокого обучения стали настоящим произведением искусства. Однако критически важным для успеха глубокого обучения является оттачивание архитектуры и компонентов, чтобы наилучшим образом использовать структуры и корреляции в данных. Для потоков транзакций это означает не рассмотрение каждой транзакции по отдельности, а рассмотрение всей соответствующей информации в последовательности действий, ведущих к настоящему событию. В этой последовательности кроется важнейший контекст текущего намерения плательщика.

Ближайшим аналогом этой установки является обработка естественного языка, где последовательность действий - это слова, используемые в предложениях. В нашем случае предложения - это истории счетов клиента, а слова - финансовые транзакции. Следовательно, алгоритмы глубокого обучения, которые обрабатывают информацию о последовательности, должны работать одним из двух способов. Они либо читают и работают с некоторым непрерывным подмножеством последовательности в манере трансформаторов [3] или сверточных сетей, либо они читают это единичное событие как вход и используют нейронные ячейки со встроенной локальной памятью, которая запоминает соответствующую информацию. из предыдущих примеров в последовательности. Этот последний класс, называемый рекуррентными нейронными сетями, включает такие архитектуры, как LSTM [4], GRU [5] и совершенно новую архитектуру автоматизированных глубоких поведенческих сетей Featurespace.

Однако одним из побочных эффектов алгоритмов глубокого обучения является то, что они теряют интуитивную интерпретируемость. Логика, лежащая в основе этих решений, находится за пределами человеческих возможностей объяснить. В то время как алгоритм логистической регрессии мог обучить сотни параметров логическим функциям, созданным человеком, параметры глубокого обучения исчисляются миллиардами, и алгоритмы обычно работают с необработанными необработанными данными событий. Нет явных требований к этапам разработки логических функций - функции могут быть изучены нижними нейронными уровнями в архитектуре, а внутренние функции, которые они изучают, являются сложными. Они берут свои значения из взаимосвязанного влияния миллионов подключений к предыдущим уровням в сети.

Традиционные процессы управления моделями, основанные на проверке человеческой логики и применении здравого смысла, просто терпят неудачу перед лицом такой сложности.

Укрепление доверия

Учитывая ставки, сделанные на успешную работу этих систем принятия решений, компании не могут использовать модели глубокого обучения без установления очень высокой степени доверия. Если структуры управления моделями будут модернизированы и приведены в соответствие со сложностью моделей глубокого обучения, то такая степень доверия может быть достигнута. Существует несколько подходов к систематическому укреплению доверия к непрозрачной модели, и неспособность сводить решения к простой логике не означает, что мы должны закрывать глаза и надеяться, что алгоритм работает.

Когда организация принимает решение о развертывании новой системы, возникает четыре основных вопроса о доверии и управлении:

1. А может быть модель лучше? Это отражает опасение, что разработчики модели могли бы работать лучше. Самый важный элемент для правильного выполнения - убедиться, что обучающие данные и механизмы их маркировки репрезентативны для реального мира. После этого на вопросы о разработке модели легче дать окончательный ответ для модели глубокого обучения, потому что нет никакой зависимости от творчества или понимания предметной области при разработке функций специалистом по данным. Вместо этого разработка функций включается в процесс оптимизации функции потерь, поэтому алгоритм повторяется до тех пор, пока не найдет лучшие характеристики. Есть и другие варианты моделирования, которые могут быть подвергнуты сомнению (подготовка данных, выбор данных, гиперпараметры модели, выбор архитектуры и т. Д.), Но, в отличие от изобретения функций, эти варианты выбираются систематически из определенного списка вариантов, и значение каждого выбора Об этом свидетельствуют экспериментальные результаты. Подходы Auto-ML могут даже автоматизировать этот поиск, создавая при этом прозрачный контрольный журнал для принятия решений.

2. Справедлива ли модель? Это отражает опасение, что модель является дискриминационной по отношению к защищенным атрибутам. Для моделей глубокого обучения это сложнее определить интуитивно, потому что логику нельзя вручную проверить на наличие запрещенных рассуждений. Хотя верно то, что человеческая предвзятость не врастет в дизайн модели из-за проектирования функций, смещения могут закрасться из-за ложных или нерепрезентативных корреляций в обучающих данных, смещенных механизмов выбора в реальном мире, которые больше (или меньше) представляют сегменты. населения, или предвзятые механизмы маркировки, которые влияют на наши метки обучающих данных. Даже если модель не видит защищенного атрибута, она все равно может привести к дискриминационному результату, обнаружив в данных сигналы, являющиеся заместителями для защищенного атрибута. Это проблема, которую должны решать структуры управления для моделей глубокого обучения.

3. Разумно ли каждое предсказание? Это отражает беспокойство по поводу того, что некоторые прогнозы необоснованны, полагаются на ложные корреляции или плохо экстраполируются на разреженные области обучающих данных. Процедуры управления должны решать эту проблему, предоставляя логические объяснения для каждого прогноза, который модель делает в процессе производства. Для глубокого обучения логические объяснения трудны, потому что логика очень сложна. Управление также должно обеспечивать прозрачность в отношении ожидаемого качества каждого прогноза, то есть: степени, в которой модель работает на основе существенных доказательств, по сравнению с степенью, в которой она работает на основе экстраполяции. Такие меры должны оцениваться на постоянной основе, чтобы контролировать систематические расхождения между обучающими и обслуживаемыми данными, которые имеют тенденцию к увеличению со временем. Это проблемы, которые должна решать модель управления.

4. Стабильны ли прогнозы? Это отражает опасения по поводу того, что модель может сойти с рельсов и потерпеть критический сбой перед лицом реальных эффектов в данных, таких как всплески событий, сбои производственных данных или крайние случаи обработки данных. Это обоснованные опасения, и их лучше всего решить, получив информацию о возможных эффектах и ​​о том, как модель на них отреагирует. Это означает моделирование этих эффектов в автономных экспериментах, исследование чувствительности модели к ним и наблюдение за временем восстановления модели. Эта информация должна привести к созданию сценария операций для операторов модели, который поможет им быстро и надлежащим образом отреагировать на эти проблемы, если они возникнут.

Модернизация управления

Вопросы доверия, которые мы обсуждали выше, привели к 3 остающимся без ответа основным вызовам для глубокого обучения в рамках существующих структур управления моделями, и каждая из них потребует новых стратегий для обеспечения уровня доверия, который по праву требуется пользователям модели. Этими проблемами были:

1. Как оценить степень уверенности в том или ином предсказании.

2. Как объяснить логику, которая привела к тому или иному решению.

3. Как гарантировать справедливость.

Эти проблемы можно преодолеть либо путем активизации наших усилий по мониторингу с помощью тщательного и непрерывного статистического тестирования достоверности модели, либо путем включения вспомогательного алгоритма в наш стек моделирования. Давайте начнем с улучшения режима тестирования корпоративного управления.

Доброта подгонки

Строгое тестирование моделей машинного обучения означает понимание того, где модель является сильной и слабой в своих прогнозах, как на момент создания, так и на постоянной основе, поскольку эти сильные стороны развиваются из-за дрейфа концепций. Самый прямой подход к установлению доверия - это калибровка прогнозов модели, которая превращает оценку в вероятность, а затем проведение тестов согласия для вероятностей модели. В приведенном ниже примере показаны визуализации, полученные в результате этого анализа.

Рис. 1. Анализ согласия для информативного признака (вычислено с выравниванием биннинга гистограммы). Эта функция показывает признаки умеренного переобучения при низких значениях, поскольку существует систематическая ошибка между предсказанием и наблюдением в тестовом наборе (справа), а не в обучающем наборе (слева). Самый правый лоток на ›1 также представляет сложную структуру, которая требует от классификатора большего изучения нелинейности, поэтому следует понимать причину и последствия этой структуры. Изображения автора.

Оценки модели для набора проверки удержания агрегируются в распределения оценок в дискретных сегментах, которые здесь определяются значением функции, попадающим в определенный диапазон. Внутри сегмента распределение баллов суммируется с параметром местоположения (средний средний балл) и параметром шкалы (стандартное отклонение балла от среднего). Затем среднее значение и его неопределенность можно сравнить с наблюдаемой распространенностью мошенничества в сегменте - хорошо подобранная модель не должна иметь статистически значимых отклонений между средними баллами и наблюдаемой распространенностью в сегментах. Возникновение смещения означает, что модель не дает точных прогнозов, и ей не следует доверять. Во время разработки модели эти графики полезны для повышения производительности модели. Они позволяют нам четко увидеть зависимость оценки от каждого значения функции. Если наблюдается смещение, оно может быть вызвано переобучением, и в этом случае наблюдаемое смещение будет отсутствовать в прогнозах для обучающего набора, или недостаточным подгонкой, и в этом случае наблюдаемое смещение будет присутствовать как в обучающих, так и в тестовых данных. Если стандартное отклонение внутри сегмента велико, это говорит нам о том, что данная функция в значительной степени игнорируется моделью в этом сегменте (т. Е. Другие функции доминируют в рейтинге).

Для целей управления эти анализы становятся особенно эффективными, если они применяются на постоянной основе к оценкам, полученным после разработки модели. Они могут эффективно обнаруживать деградацию модели и определять области пространства признаков, в которых модель ухудшилась. Сегменты могут быть определены любым известным нам атрибутом выборки входных данных, независимо от того, используется ли он моделью. Это означает, что мы можем отслеживать степень соответствия защищенных атрибутов или атрибутов, которые мы не знаем во время вывода. Наиболее эффективно мы можем определить бакеты как кластеры с высокой степенью детализации пространства активации нейронов в нейронной сети. Хотя мы, возможно, не сможем интерпретировать значение этих кластеров, мы получаем постоянно обновляемые метрики согласия для каждого прогноза, используя наблюдаемое качество соответствия для кластера, содержащего прогноз, в качестве прокси. Для каждого кластера смещение является оценкой точности оценки модели, а стандартное отклонение дает оценку градиентов и структур функции оценки по кластеру.

Анализ соответствия - мощный и интуитивно понятный способ сделать непрозрачные модели более прозрачными с помощью тщательного тестирования и эффективный способ решения первой проблемы управления современными моделями. Этот стиль мышления становится все более популярным в индустрии искусственного интеллекта, иногда в несколько ином обличье, например, с оценкой доверия [6].

Справедливость

Подход согласия также может помочь в решении проблемы гарантии справедливости - мы сможем постоянно тестировать принятие решений модели для прогнозирования достаточности (одна из трех популярных мер справедливости [7]). Это означает, что мы постоянно утверждаем, что прогнозы модели должны отражать наблюдаемые тенденции результатов, представленные в необработанных данных, без предвзятости. Однако проверка достаточности не предотвращает разрозненных воздействий на защищенные атрибуты - что для большинства людей является наиболее интуитивным этическим определением справедливости.

В двух других определениях справедливости неодинаковое влияние рассматривается по-разному.

· Имея гарантию независимости, мы требуем, чтобы не было расхождений в прогнозах модели для различных возможных значений защищенного атрибута. Это означает, что распределение оценок для двоичного классификатора должно быть одинаковым, независимо от значений защищенного атрибута.

· С гарантией разделения мы требуем, чтобы не было несоответствия для выборок данного базового класса для различных значений защищенного атрибута. Для прогнозирования мошенничества это означает, что мошенничество и подлинные примеры должны получать по отдельности распределение баллов, которое одинаково для всех значений защищенного атрибута, но объединенное распределение баллов для всех примеров может быть различным для каждого защищенного атрибута. Это равносильно требованию, чтобы кривые ROC каждого значения защищенного атрибута были выровнены - модель одинаково хорошо справляется с разделением классов для всех значений защищенных атрибутов.

Рис. 2: В этих простых примерах модель слева удовлетворяет гарантии независимости - распределение баллов идентично для групп A, B и C. Однако она не удовлетворяет гарантии достаточности - оценки смещены по отношению к основополагающей истине для групп A и C. Напротив, хорошо откалиброванная модель справа удовлетворяет гарантии достаточности, поскольку распределения баллов беспристрастны по отношению к основополагающей истине для всех групп. Изображения автора.

Вариантом разделения является концепция равенства возможностей, которая требует, чтобы распределения оценок для класса без риска были одинаковыми для каждого значения защищенного атрибута - «хорошие клиенты» должны не могут быть заблокированы из-за их защищенных атрибутов.

Эти определения можно проверять непосредственно на постоянной основе. В случае обнаружения несоответствий, независимость или разделение могут быть наложены путем калибровки оценки [8]. Независимость также можно встроить во время обучения, либо очистив обучающие данные от нежелательных корреляций, например, с помощью автоэнкодеров с вариационной справедливостью [9], либо наказав зависимость в функции потерь классификатора.

Следует отметить, что эти три определения справедливости исключают друг друга. Когда мы говорим о создании «справедливого» классификатора, мы явно выбираем, какое определение справедливости следует соблюдать. Этот выбор еще не стал стандартом в отрасли.

Объяснение

Непрерывное тестирование может решить большинство проблем, связанных с принятием сложного ИИ, но по-прежнему существует потребность в обобщении логики принятия решений для каждого прогноза - третьей из наших проблем управления. Подобные объяснения, если они точны, могут служить защитой от неправильной логики во время разработки модели, раскрывая логику, лежащую в основе конкретных результатов. Когда можно понять причину ошибок, можно укрепить доверие. Мы доверяем лицам, принимающим решения, когда можем судить сами, были ли их ошибки вызваны неправильной логикой или просто неудачей.

Существует несколько алгоритмов, которые могут приписывать оценки входным характеристикам. SHAP [10], основанный на значениях Шепли из теории игр, особенно популярен для древовидных моделей. В то время как алгоритм обычно экспоненциально масштабируется с количеством входных функций (что делает этот подход неприменимым почти для всех реальных моделей), вариант TreeSHAP имеет логарифмическое масштабирование с входными функциями [11]. Один из подходов к объяснению состоит в том, чтобы поставлять модели глубокого обучения с объяснительной моделью - древовидной ансамблевой моделью, которая использует инженерные функции для прогнозирования оценки, полученной с помощью модели глубокого обучения. Функцию оценки из глубинной модели обычно легче подобрать, чем основную истину [12], и атрибуция SHAP для этих спроектированных функций имеет смысл, потому что эти функции были разработаны для кодирования сигналов, значимых для человека.

Однако мы можем добиться большего. Такие методы, как интегрированные градиенты [13] или послойное распространение релевантности [14], могут напрямую приписывать оценки нейронной сети входным данным. В распознавании изображений эти методы оказались успешными при отнесении к необработанным входным данным (в данном случае, пикселям изображения), создавая тепловую карту, которая обозначает важность пикселей. Люди-аналитики могут интерпретировать эти пиксельные атрибуты значимым и полезным образом. Для анализа мошенничества это будет означать непосредственное отнесение к полям в исходном потоке входных транзакций, создание тепловой карты по истории транзакций клиента.

Тепловые карты отличаются от традиционных подходов к объяснению, таких как SHAP или веса логистической регрессии, тем, что они не приписывают характеристикам, разработанным человеком для инкапсуляции объяснимой концепции. Вместо этого они приписывают необработанные данные. Это означает, что пользователь должен интерпретировать логику в индивидуальном порядке. Люди уже были обучены распознавать сложные закономерности и строить значимые повествования на основе историй транзакций, поэтому такой подход будет в значительной степени поддерживать тщательный анализ индивидуальных прогнозов.

Рисунок 4: Тепловая карта важности полей для последовательности транзакций по кредитной карте, оцененная для объяснения высокой оценки, присвоенной окончательной транзакции. В этом примере играет роль комбинация факторов - большая сумма, потраченная у опасного продавца, который не пытался проверить адрес (сопоставление AVS). Более того, транзакции непосредственно предшествовала потенциальная транзакция тестера с низкой стоимостью - стандартная типология мошенничества. Изображение автора.

Вывод

Чтобы завоевать доверие непрозрачной модели, нам нужен не просто контрольный журнал, подтверждающий ее проектные решения, нам нужна постоянная уверенность в том, что модель хорошо откалибрована во всех сценариях, с которыми она сталкивается, постоянная вера в справедливость решений и методы визуализировать процессы распознавания образов для индивидуальных прогнозов. Три из этих предварительных условий сводятся к статистическому тестированию. Эндрю Нг, профессор машинного обучения в Стэнфордском университете и соучредитель Coursera и Google Brain, утверждает, что тестирование является достаточной основой для доверия ИИ, проводя аналогию с нашими механизмами доверия для здравоохранения:

Многие из нас готовы принимать лекарственные препараты, биохимические эффекты которых никто полностью не понимает. Мы доверяем этим препаратам, потому что они прошли рандомизированные клинические испытания и получили одобрение FDA. Точно так же [непрозрачные] алгоритмы ИИ могут завоевать наше доверие, пройдя тщательное тестирование . - Эндрю Нг. [15]

Если мы сможем тщательно протестировать модели глубокого обучения, мы сможем внести прозрачность в результаты модели в различных условиях, и мы сможем понять надежность этого результата. Это ставит нас в информированное положение, когда мы можем ответственно использовать непрозрачные модели, потому что у нас есть основание доверять этим моделям в реальных сценариях. Чтобы это было так, при тестировании должны применяться соответствующие статистические меры качества прогнозирования для этих сценариев, чтобы мы понимали, где модель действительна и является ли она справедливой. Кроме того, это тестирование должно быть постоянным - включенным в мониторинг нашей модели, чтобы мы могли гарантировать устойчивость нашего доверия в меняющихся условиях реального мира. Объяснения модели играют здесь вспомогательную роль, добавляя прозрачности индивидуальным прогнозам, что особенно важно для тех случаев, когда прогнозы модели неверны. Мы можем согласиться с тем, что моделям не повезло, но мы не можем согласиться с тем, что они были неразумными.

В ближайшие годы глубокое обучение произведет революцию в области прогнозирования мошенничества, предложив повышенный уровень защиты, которого так жаждут команды по борьбе с мошенничеством и которого ожидают потребители. Перед потребителями мы обязаны повысить уровень нашей системы управления, чтобы внедрить эти модели в производство.

[1] П. Паркинсон, SR 11–7: Руководство по модельному управлению рисками (2011) Совет управляющих Федеральной резервной системы

[2] Мошенничество - факты 2021, окончательный обзор мошенничества в платежной индустрии (2021) UK Finance

[3] А. Васвани, Н. Шазир, Н. Пармар, Дж. Ушкорейт, Л. Джонс, А. Гомес, Л. Кайзер и И. Полосухин, Внимание - все, что вам нужно (2017) Google Brain, Google Research и Университет Торонто

[4] С. Хохрайтер и Дж. Шмидхубер, Долгосрочная краткосрочная память (1997), Neural Computing, Massachusetts Institute of Technology Press.

[5] К. Чо, Б. Мерриенбор, К. Гульчере, Д. Богданау, Ф. Бугарес, Х. Швенк и Я. Бенжио, Изучение представлений фраз с использованием кодировщика-декодера RNN для статистического машинного перевода (2014) Монреальский университет, Университет Джейкобса, Университет штата Мэн

[6] А. Вонг, Х. Ван и А. Гриневский, Насколько сильно мы можем вам доверять? К простым, интерпретируемым метрикам количественной оценки доверия для глубоких нейронных сетей (2020) Корнельский университет

[7] С. Барокас, М. Хардт и А. Нараянан, Справедливость в машинном обучении: ограничения и возможности (2020) Корнельский университет, Калифорнийский университет, Беркли и Принстонский университет

[8] М. Хардт, Э. Прайс и Н. Сребро, Равенство возможностей в обучении с учителем (2016) Google, UT Austin и TTI-Chicago

[9] К. Луизос, К. Сверски, Ю. Ли, М. Веллинг и Р. Земель, Автоэнкодер Variational Fair (2016) Амстердамский университет, Университет Торонто, Канадский институт перспективных исследований и Университет г. Калифорния, Ирвин

[10] С. Лундберг и С. Ли, Единый подход к интерпретации модельных прогнозов (2017) Вашингтонский университет

[11] С. Лундберг, Г. Эрион и С. Ли, Согласованная индивидуальная атрибуция признаков для ансамблей деревьев (2018) Вашингтонский университет

[12] Л. Ба и Р. Каруана, Действительно ли глубокие сети должны быть глубокими? (2013) Университет Торонто и Microsoft Research

[13] М. Сундарараджан, А. Тали и К. Ян, Аксиоматическая атрибуция для глубоких сетей (2017) Стэнфордский университет и Google

[14] С. Бах, А. Биндер, Г. Монтавон, Ф. Клаушен, К. Мюллер, В. Самек и др. О пиксельном объяснении решений нелинейного классификатора путем послойного распространения релевантности (2015) PLoS ONE

[15] А. Нг, Дорогие друзья (2019) deeplearning.ai