Предотвращение отвращения к алгоритмам за счет объяснимости
Представьте, что вы подаете заявление в аспирантуру, и приемная комиссия в университете вашей мечты решает, что решения о приеме в этом году будут приниматься алгоритмами машинного обучения (ML), а не рецензентами. Вы бы чувствовали себя комфортно, если бы алгоритмы машинного обучения оценивали вас и принимали решения? Некоторые из нас, вероятно, этого не захотят. Но почему?
Исследования показывают, что алгоритмы, основанные на фактах (алгоритмы машинного обучения), более точно предсказывают будущее, чем человеческие предсказатели. Считается, что алгоритмические прогнозы превосходят человеческие прогнозы во множестве приложений, будь то прогнозирование фондового рынка или прогнозирование игрового процесса (в AlphaGo). Решения о приеме также можно рассматривать как задачу прогнозирования, поскольку они представляют собой не что иное, как прогноз того, насколько хорошо кандидат подходит для конкретной программы, или прогноз того, насколько успешным будет кандидат. Но почему некоторые из нас хотят, чтобы нас оценивал человек?
Если алгоритмы являются лучшими предсказателями, чем люди, тогда люди должны предпочесть алгоритмические прогнозы человеческим прогнозам. Однако часто это не так. Это явление, которое мы называем отвращением к алгоритмам, дорого обходится, и важно понимать его причины (Dietvorst, Simmons, and Massey, 2014).
Мы очень мало знаем о том, когда и почему люди проявляют отвращение к алгоритмам. Не существует согласованного механизма того, когда люди используют прогнозистов вместо более совершенных алгоритмов или почему люди не используют алгоритмы для прогнозирования. Поскольку объем данных, которые мы производим ежедневно, достиг точки, когда почти все задачи прогнозирования нуждаются в каком-либо задействованном алгоритме, важно решить проблему неприятия алгоритмов, чтобы большинство из нас могли полагаться на более эффективные алгоритмы для прогнозирования. будущее для нас.
Дитворст, Симмонс и Мэсси (2014 и 2016) провели несколько исследований, чтобы найти причины неприятия алгоритмов. Они обнаружили, что:
- Люди, как правило, быстрее теряют доверие к алгоритмическим прогнозистам, чем к прогнозистам-людям, когда видят, что они совершают ту же ошибку.
- Люди будут использовать несовершенные алгоритмы, если смогут (даже незначительно) изменить результаты. Следовательно, предоставление контроля может быть способом преодоления отвращения к алгоритмам.
Однако мы знаем, что во многих случаях обеспечение контроля может оказаться невозможным. Таким образом, нам необходимо рассмотреть другие варианты преодоления или предотвращения отвращения к алгоритмам.
Большинство населения считает современные алгоритмы прогнозирования черными ящиками, поскольку они включают сложную модель машинного обучения, которую понимают очень немногие. Добавьте к этому тот факт, что сложность и производительность алгоритма обратно пропорциональны его объяснимости. Например, модель линейной регрессии может быть легко интерпретирована, но может иметь низкую производительность. С другой стороны, нейронная сеть может иметь отличную производительность, но в то же время ее трудно интерпретировать. Итак, может ли объяснение предсказаний модели или понимание того, чему она научилась, помочь преодолеть отвращение к алгоритмам? Давайте разберемся!
Я провел онлайн-эксперимент, чтобы объединить эти две области объяснимости модели и неприятия алгоритмов, чтобы ответить на более широкий вопрос о возможном механизме неприятия алгоритмов. В частности, я хотел изучить вопрос: какую роль объяснимость модели играет в неприятии алгоритмов и могут ли объяснения помочь в преодолении отвращения к алгоритмам? Я операционализировал вопрос, наблюдая, выбирают ли люди один и тот же алгоритм чаще (или оценивают его выше) по сравнению с предсказателями-людьми (самими), если он сопровождается объяснениями.
Набор данных
Перед тем, как начать свой эксперимент, мне нужно было выбрать алгоритм машинного обучения, который выступил бы в качестве моего предсказателя / предсказателя. Для обучения любого алгоритма машинного обучения нам требуются данные, в нашем случае помеченные данные. Для этой цели я использовал открытый набор данных от Kaggle, который похож на описанный выше сценарий приема.
Чтобы участники не были перегружены числами, я уделил особое внимание тому, чтобы количество функций / предикторов не превышало десяти в процессе выбора набора данных. Набор данных Graduate Admissions имеет показатель шанс поступления в диапазоне от 0 до 1 для каждого профиля студента вместе со следующими 7 параметрами:
- Оценка GRE (из 340)
- Оценка TOEFL (из 120)
- Рейтинг университета (из 5), по которому поступающий закончил бакалавриат. 1 - наименьшая оценка, а 5 - наивысшая оценка.
- Заявление о достижении цели (из 5): 1 - наименьшее, 5 - высшее.
- Сила рекомендательного письма (из 5): 1 - наименьшее, 5 - высшее.
- Средний балл бакалавриата (из 10)
- Опыт исследования (0 или 1): 0 указывает на отсутствие предыдущего опыта исследований и 1 указывает на наличие хотя бы некоторого опыта исследований.
Я преобразовал показатель «шанс признания» в «балл допуска», умножив его на 100, чтобы участникам было легче поиграть, т. Е. Они могли вводить целые числа в качестве прогнозов. «Зачетный балл» можно рассматривать как предсказание успешности учащегося или его профиля. Баллы варьируются от 0 до 100, и более высокий балл указывает на более высокие шансы признания / сильного профиля. Всего в наборе данных было 500 записей. Набор данных был чистым и не требовал каких-либо других важных этапов предварительной обработки данных или обработки данных.
Модель и объяснитель
Я обучил несколько моделей на наборе данных, и XGBoost была одной из самых эффективных моделей. Я решил придерживаться XGBoost в качестве средства прогнозирования поступления в аспирантуру, так как получил достаточно хорошие результаты даже с минимальной настройкой параметров и предварительной обработкой. После того, как модель машинного обучения была готова, мне пришлось выбрать библиотеку для генерации объяснений предсказаний алгоритма. К счастью, сообщество машинного обучения восприняло проблему объяснимости моделей и разработало несколько новых методологий для объяснения моделей машинного обучения.
Одним из таких объяснений является SHAP (Аддитивные объяснения Шэпли), теоретико-игровой подход к объяснению результатов любой модели машинного обучения. SHAP может давать объяснения для отдельных строк, показывающих функции, каждая из которых способствует выталкиванию выходных данных модели из базового значения. Сводные графики и графики зависимости вклада, показывающие общие объяснения модели, также могут быть созданы с использованием библиотеки SHAP. Следующие ресурсы очень помогли понять объяснимость модели с помощью SHAP, и я рекомендую вам ознакомиться с ними:
Дизайн эксперимента
Эксперимент представлял собой простой рандомизированный контролируемый эксперимент, чтобы проверить, влияет ли добавление объяснений на сделанный людьми выбор или на то, как они воспринимают / оценивают алгоритм. Он был построен на платформе для проведения опросов Qualtrics, а участники набирались на Amazon MTurk и вне краудсорсинговых платформ через друзей и знакомых. Общее количество участников составило 445 человек, из них 350 - из MTurk, остальные 95 - из разных источников. Средний возраст участников составлял 30,76 лет, из них около 43% составляли женщины и 57% мужчины.
Опрос (пожалуйста, взгляните, чтобы лучше понять ход) начался с вопроса участников об их возрасте, поле и знаниях теории вероятностей, информатики и машинного обучения по шкале. из 1–4. Это было сделано для изучения неоднородности эффектов лечения после завершения эксперимента. Затем все участники были ознакомлены с воображаемым сценарием канадского университета, использующего алгоритм машинного обучения в своей приемной комиссии. После этого участникам была представлена оценка характеристик 10 абитуриентов и их попросили спрогнозировать для них балл при поступлении. После того, как участник оценил каждого кандидата, его прогноз отображался рядом с прогнозом алгоритма, если участник принадлежал к контрольной группе. Однако для экспериментальной группы, помимо прогноза участника и алгоритма, было показано объяснение того, какие особенности влияли на модель.
Кроме того, у участника экспериментальной группы была страница с объяснением значений Шепли, отображаемая перед 10 вопросами, и страница с важностью характеристик и графиками зависимости вклада, то есть общее объяснение модели, отображаемое после 10 вопросов.
В контрольной группе (без объяснения причин) и группе лечения (с объяснением) было 227 и 218 участников соответственно, каждый из которых был рандомизирован в начале исследования. После того, как эти вопросы были заполнены, участникам был задан ряд дополнительных вопросов относительно того, что они видели. В этом разделе особое внимание уделялось трем вопросам:
- Вы подаете заявление на ту же программу MSc / MBA в этом году, и приемная комиссия экспериментирует с алгоритмом, который вы видели в предыдущих 10 вопросах. Какую методологию обзора вы бы предпочли?
- А теперь представьте, что вас назначили руководителем приемной комиссии программы MBA. Вы бы использовали алгоритм для принятия решений от вашего имени? Обратите внимание, что вам приходится иметь дело с большим количеством кандидатов и ограниченным персоналом, но вы также несете ответственность за принимаемые решения!
- Как вы думаете, насколько хорошо работает алгоритм машинного обучения? Оцените алгоритм по шкале от 0 до 100.
Эти вопросы представляли сценарии, в которых результат алгоритма (i) оказал прямое влияние на участников, (ii) участники несли ответственность за результаты алгоритма и (iii) общий рейтинг без какой-либо связи с ними, соответственно.
Полученные результаты
Следующие результаты наблюдались по трем дополнительным вопросам, упомянутым в разделе о планировании эксперимента:
1. При подаче заявления о приеме, т.е. когда прогноз алгоритма оказал на них влияние, процент участников, выбравших алгоритм ML в контрольной группе без объяснения причин, составил 48,13%, а в группе лечения с объяснениями - 49,78%.
2. Когда они присутствовали в приемной комиссии, т. Е. Когда алгоритм облегчал их работу, но требовал от них ответственности, процент участников, выбравших алгоритм ML в контрольной группе без объяснений, составил 47,95%, а в группе лечения с объяснениями - 49,50%. .
3. Когда участников попросили оценить алгоритм в целом, участники контрольной группы оценили его в среднем 70,81 из 100, в то время как участники экспериментальной группы дали ему средний балл 71,07. Значение d по Коэну для двух групп составляло 0,016.
Из приведенных выше результатов мы видим, что между двумя группами существует довольно четкая разница. В вопросах 1 и 2 более высокий процент участников предпочли использовать алгоритм, когда он сопровождался пояснениями SHAP. Кроме того, в вопросе 3 значение d Коэна 0,016 показывает, что разница между средними положительна и в пользу группы с объяснимостью, но величина эффекта очень мала. В целом, больший размер выборки сделает выводы и повлияет на размер намного яснее.
Неоднородность эффектов лечения. Как и в любом другом эксперименте, я исследовал неоднородность эффектов лечения среди участников по трем причинам: возраст, пол и знание теории вероятностей, информатики и машинного обучения. Эффект лечения был одинаковым во всех возрастных группах. Пол также не играл роли в определении оценки алгоритма.
Когда мы смотрим на оценку алгоритма или на то, как участники воспринимали алгоритм, общая разница была невелика. Однако, когда мы смотрим на подгруппы на основе их знакомства с вероятностью, информатикой и машинным обучением, мы получаем следующие результаты.
Важным наблюдением было то, что оценка алгоритма, выставленная участниками без технического образования (то есть, которые никогда не слышали о вероятности, информатике и машинном обучении), всегда выше в группе лечения с объяснениями по сравнению с контрольной группой без объяснений. Значение d Коэна также значительно увеличивается для этой подгруппы, предполагая, что существует большое положительное влияние на то, как люди оценивают алгоритмы с объяснениями по сравнению с простым числом, представленным им.
С помощью этого эксперимента я попытался найти эмпирическое доказательство того, что отвращение к алгоритмам можно преодолеть с помощью объяснимости. Это справедливо в случаях, когда предсказания алгоритма влияли на участников, а также в случаях, когда участники несли ответственность за его точность. В дальнейших экспериментах основное внимание следует уделять неоднородности лечебных эффектов. Мы можем сосредоточиться конкретно на участниках, не относящихся к STEM (наука, технология, инженерия и математика), с дополнительными вопросами, чтобы понять их причину, по которой они сделали свой выбор. Если мы сможем доказать внешнюю достоверность этого эксперимента на гораздо большем наборе данных, простые методологии, такие как SHAP, можно будет включить в наших ежедневных прогнозистов машинного обучения, чтобы помочь людям предотвратить неприятие алгоритмов!
Заключение
Мир движется к «Объясняемому ИИ», и многие сейчас считают это необходимостью для алгоритмов глубокого обучения. Этот эксперимент только доказывает, что такие шаги необходимы для процесса построения доверия к алгоритмам.
Несмотря на то, что неприятие алгоритмов не является большой проблемой, на данный момент это проблема, к которой мы должны взяться со всей серьезностью. Хотя мы можем думать о сегодняшних задачах прогнозирования просто как о проблеме поступления в аспирантуру или как о задаче оценки стоимости дома; Завтра это будет задача прогнозирования скорости движущегося впереди грузовика на беспилотном автомобиле. Алгоритмы неизбежно берут на себя такие задачи, где на карту поставлены человеческие жизни, будь то здравоохранение или освоение космоса. Каким бы ни был сценарий, нам нужно найти способ укрепить доверие к этим алгоритмам. Поэтому очень отрадно видеть, как сообщество машинного обучения работает над этой проблемой, принимая объяснимость так же серьезно, как и сложность на нашем пути к инновациям.
использованная литература
[1] Дитворст, Беркли и Симмонс, Джозеф П. и Мэсси, Кейд, Отвращение к алгоритмам: люди ошибочно избегают алгоритмов, увидев их ошибки (6 июля 2014 г.). Готовится к публикации в Journal of Experimental Psychology: General. Доступно в ССРН: http://dx.doi.org/10.2139/ssrn.2466040
[2] Дитворст, Беркли и Симмонс, Джозеф П. и Мэсси, Кейд, Преодоление отвращения к алгоритмам: люди будут использовать несовершенные алгоритмы, если смогут (даже незначительно) их изменить (5 апреля 2016 г.). Доступно в ССРН: http://dx.doi.org/10.2139/ssrn.2616787
[3] Лундберг, С.М., Эрион, Г., Чен, Х. и др. От локальных объяснений к глобальному пониманию с помощью объяснимого ИИ для деревьев. Нат Мах Интелл 2, 56–67 (2020). Https://doi.org/10.1038/s42256-019-0138-9.
Пожалуйста, не стесняйтесь комментировать свои отзывы и предложения по публикации или связаться со мной в LinkedIn.
