Интерпретируемость модели

Важность интерпретируемости в искусственном интеллекте в здравоохранении

Один раз проявить сочувствие стоит 10 фунтов оптимизации.

Утро четверга. Вчера поздно вечером вы работали над своей моделью оттока клиентов, проверяли новые функции, настраивали гиперпараметры для своего алгоритма и, поскольку в офисе больше никого не было, подпеваете Тейлор Свифт на полную катушку. Это был прекрасный вечер. Несколько новых функций добавили подъемной силы, и вы достигли отличного баланса между производительностью и предотвращением перетренированности. Вы только что построили лучшую кривую ROC, которую когда-либо делал кто-либо в команде для решения этой проблемы. Вы входите в офис, чтобы поделиться хорошими новостями с людьми, которые звонят на основе ваших моделей - командой по работе с клиентами. К вашему удивлению, они недовольны вашей моделью и хотят, чтобы вы вернулись к чертежной доске.

Когда возникают подобные ситуации, легко думать: «Модель великолепна; они просто не понимают этого ». У большинства из нас эта мысль возникала раньше, но ей нет места в сознании аналитика данных, который хочет добиться успеха. Наша задача как специалистов по обработке данных - логически решать проблемы с помощью доказательств. Слишком часто мы непреднамеренно создаем самую сложную модель, которую только можем вообразить. Такой подход обычно приводит к тому, что утро четверга во многом похоже на то, что описано выше. Итак, как мы можем бороться с этой тенденцией? Я считаю, что лучше всего использовать противоположный подход и начать с того, чтобы задавать заинтересованным сторонам простые вопросы. Вот несколько вопросов, которые я задаю:

  • Если бы вам пришлось сделать это предсказание, как вы думаете, насколько хорошо вы его сделали бы?
  • Если вы чувствуете, что у вас все хорошо, на каких факторах вы бы основывали свои решения?
  • Учитываем ли мы все эти факторы в данных?

Заинтересованные стороны склонны отдавать предпочтение моделям, которые отражают их ранее существовавшие идеи и поэтому легко интерпретируемы. Лучшая исходная модель обычно учитывает небольшое количество характеристик, которые отражают интуицию людей на местах. Как только вы получите одобрение, итерация модели для добавления новой информации должна стать вашим совместным путешествием. Согласование с интуицией заинтересованных сторон - это сахар, который помогает избавиться от медицины сложности.

Эмпатия свергает цифровых диктаторов

Результаты нашей работы как специалистов по обработке данных имеют серьезные последствия для работы других людей. Инструменты, которые мы создаем, часто диктуют рабочие процессы конечных пользователей, поэтому важно, чтобы мы имели подробное представление о том, как эти люди взаимодействуют с ними. Заинтересованные стороны, как правило, не имеют достаточной подготовки в области расширенной статистики, но часто полагаются на модели, которые мы создаем. Поскольку небольшое дизайнерское решение с нашей стороны может радикально ограничить их способность использовать прогнозы, четко понимать предполагаемые рабочие процессы, связываться с нужным человеком или потенциально даже эффективно выполнять основные функции их работы, мы должны предвидеть как их потребности, так и перспективы для повторения соответственно.

Поскольку модели все чаще используются для управления человеческой работой, мы должны стремиться создавать аспекты эффективного, чуткого лидера. Ваш инструмент должен четко излагать причины своих прогнозов и поддерживать цели заинтересованных сторон. Если люди, работающие с ним, не могут интерпретировать его решения или чувствуют себя ограниченными его предложениями, они неизбежно начнут возмущаться, как ужасный начальник. Это сравнение может показаться чрезмерным, но все чаще человеческая работа направляется роботами-супервайзерами, которые могут ставить нереалистичные цели и шаблоны рабочего процесса в погоне за оптимизацией. Если вы работаете над подобными системами, постарайтесь сделать своего робота Джоном Китингом, а не Чарльзом Кингсфилдом. Нет ничего хуже, чем конечные пользователи смотрят на плоды вашего труда безразличного диктатора.

Сапоги на земле

Нам нужно сопереживать людям, использующим наши инструменты. Слишком часто этих людей упускают из виду, а проекты ИИ не могут достичь развернутого состояния, попадая в общую ловушку, несмотря на впечатляющие показатели производительности. Разработка моделей машинного обучения в герметично закрытых средах - это просто антипаттерн, который напрямую способствует сбоям и разочарованию.

В погоне за успешным развертыванием, основанным на эмпатии, рассмотрите возможность противоположной крайности: каждый момент бодрствования следует из первых рук наблюдать, как модели машинного обучения влияют на решения. Доктор Крис Уайт проверил этот подход, когда он с головой погрузился в зону боевых действий, чтобы улучшить инструменты интеллектуального анализа данных. В 2010 году он прибыл в Афганистан, чтобы понять, как военнослужащие на местах собирают, анализируют и используют данные, чтобы повлиять на принятие решений. Возможно, вы сможете навязать неясные алгоритмы людям в мире белых воротничков, но это не сработает с подразделением морской пехоты на передовой заставе.

Понимание перспективы ботинок на земле имело решающее значение. Инструменты сбора данных доктора Уайта были созданы специально для ведения войны и были невероятно успешными. Этот опыт запомнился доктору Уайту и повлиял на его подход, когда он курировал программу Memex DARPA. Основная цель программы Memex состояла в том, чтобы создать поисковую систему, которая включала бы темную сеть, организовывала результаты поиска в логические кластеры информации и сохраняла знания в сеансах пользователей. На практике программа создавала один из лучших в мире инструментов для борьбы с торговлей людьми. Зарубежный опыт доктора Уайта показал важность удобства использования. Инструменты Memex подвергались постоянному пользовательскому тестированию с использованием стандарта двоичной оценки: помогает ли этот инструмент - да или нет? В конечном итоге программа была признана успешной и напрямую привела к созданию инструментов, которые до сих пор широко используются для поддержки расследований торговли людьми.

Ученые, работающие с данными в области здравоохранения, справляются с этим сравнительно легко; вместо того, чтобы уклоняться от пуль в зоне боевых действий, нам просто нужно присоединиться к людям, использующим наши инструменты, в офисе или больнице. Учитывая пандемию COVID-19, это может быть нежизнеспособным вариантом, но компромиссы, безусловно, возможны. Прежде чем показывать заинтересованным сторонам набор результатов, вы должны иметь привычку взаимодействовать с прогнозами. Если прогностическая модель предлагает возможность вмешательства с пациентом, ясно ли, почему лицо, осуществляющее уход, должно довести дело до конца? Если вы не можете представить себе логику принятия решений, маловероятно, что лица, осуществляющие уход, будут восприимчивы к предсказаниям вашей модели.

Вы должны знать, как заинтересованные стороны взаимодействуют с вашими прогнозами, и если вы или ваша команда создаете пользовательский интерфейс для прогнозов, вы должны участвовать в сеансах пользовательского тестирования. Может быть чрезвычайно сложно проглотить свою гордость перед лицом разочаровывающих отзывов, но критически важно рассматривать это как возможность улучшить инструмент. Если ваши прогнозы встроены в систему, которую вы не создавали, по-прежнему важно работать с пользователями, чтобы понять, как они взаимодействуют с оценками. Хотя у вас может не быть такой же способности влиять на изменения, вы все равно должны искать возможности сделать свои прогнозы более действенными.

Больше, чем «приятно иметь»

Во многих рабочих средах «хорошо иметь» четкую логику принятия решений для целей аудита, но, в конце концов, безраздельно господствует производительность. Хотя эта парадигма может вызвать серьезную головную боль у людей, использующих инструменты AI и ML, она часто играет на руку специалистам по данным. Многие специалисты по анализу данных попадают в эту область, потому что они математически склонны. Нам нравятся головоломки, нам нравятся сложные задачи оптимизации, и мы любим спорить о загадочных деталях алгоритмов. Конечно, может показаться, что интерпретируемость - это просто уступка, сделанная для взаимодействия с плебеями, но в конечном итоге это наивная точка зрения. Когда у вас возникают подобные мысли, неплохо иметь в виду эту цитату Эйнштейна: «Если вы не можете объяснить это просто, вы недостаточно хорошо понимаете».

В качестве отличного примера важности интерпретируемости не ищите ничего, кроме этого исследования классификаторов изображений, различающих собак и волков. Когда была исследована решающая логика этих, казалось бы, точных классификаторов собака против волка, был обнаружен простой факт: нейронная сеть научилась определять разницу между снегом и травой. Так уж получилось, что большинство снимков волков сделано в снежном климате. Как только появилась логика принятия решений этих алгоритмов, стало очевидно, что движущим фактором был фон, а не сам объект. Это открытие улучшило классификацию изображений в целом, и, вероятно, этого не произошло бы без глубокого понимания того, как работают алгоритмы, и необходимости объяснять это.

Как специалисты по обработке данных, мы должны оставаться ботаниками. Сжечь полуночное масло, рискнуть в сложной математике и продолжать петь «Shake it Off», как будто никто не слушает. Но мы также должны стремиться быть гуманистами, которые ценят возможность по-новому взглянуть на наши модели. Короче говоря, научитесь любить утро четверга, ваши модели будут для них лучше.

Первоначально опубликовано на https://closedloop.ai 2 декабря 2020 г.