Укрепление доверия и внедрение машинного обучения в здравоохранении: что говорят клиницисты о важности — Полная версия

Выводы из интервью с 18 клиницистами и рекомендации для менеджеров по продукции и инженеров/исследователей машинного обучения, полный текст моей дипломной работы для Школы общественного здравоохранения Калифорнийского университета в Беркли.

Ниже приведен полный текст моего диплома о высшем образовании в области здравоохранения весной 2020 года для Школы общественного здравоохранения Калифорнийского университета в Беркли. Посетите сайт Building Trust and Adoption in Machine Learning in Healthcare (ссылка здесь), чтобы ознакомиться с сокращенной версией, а также с предстоящими резюме интервью и дополнительных исследований.

Спасибо компании Dr. Ziad Obermeyer и Vince Law за то, что они были моими читателями и помогали мне в этой работе.

Справочная информация о доверии и внедрении машинного обучения в здравоохранении

Термин «искусственный интеллект» («ИИ») был впервые введен Джоном Маккарти во время конференции, состоявшейся в Дартмуте в 1956 году. Там он и его коллеги определили ИИ как «науку и технику создания интеллектуальных машин, особенно интеллектуальных компьютерных программ». («Что такое ИИ?», 2014 г.). В то время эти люди ожидали, что ИИ когда-нибудь изменит мир. Что ж, как сказал Уильям Гибсон, «будущее уже здесь — просто оно не очень равномерно распределено» (Gibson & Brin, 2018). В сфере здравоохранения термины «ИИ» и «машинное обучение» («ML») вездесущи и приближаются к пику цикла шумихи Gartner. Фактически, Gartner обнаружила, что ИИ — это «самая мощная и широко распространенная технологическая возможность в оказании медицинской помощи, операционной и административной деятельности» (Craft & Jones, 2019). Однако, несмотря на шумиху в популярных средствах массовой информации и академической литературе, в клинической практике, по-видимому, нет широкого применения.

Несмотря на то, что ажиотаж имеет негативные коннотации чрезмерно завышенных интересов, кажется, что в этом пространстве действительно есть неподдельный энтузиазм и даже чувство растущей зрелости. Были предоставлены руководства и советы о том, как читать и критически анализировать медицинскую литературу по ОД (Chen et al., 2019; Faes, Livia et al., 2009; Y. Liu et al., 2019). Кроме того, профессиональные сообщества выпускают важные отчеты о реальном потенциале технологии, разработчики инструментов машинного обучения упрощают клиницистам самостоятельное создание моделей, организации по стандартизации разрабатывают стандарты и определения, а частные инвестиции растут (Abid et al., 2020; CB Insights Research, 2020; Ассоциация потребительских технологий, 2020; Faes et al., 2019; Goecks et al., 2020; Matheny et al., 2020). В 2019 году частные инвесторы вложили 4 миллиарда долларов в рамках 367 сделок в компании, занимающиеся ОД в здравоохранении, было совершено 17 слияний и поглощений, а также 2 IPO. Зрелость также можно понять по количеству одобренных FDA алгоритмов и алгоритмов, прошедших клинические испытания. По состоянию на середину 2019 года FDA одобрило более 30 алгоритмов машинного обучения, и более 300, по-видимому, находились в клинических испытаниях (Liu et al., 2019). Сегодня, весной 2020 года, The Medical Futurist отследил 64 разрешения (The Medical Futurist, 2020).

Однако, несмотря на растущую зрелость, все еще можно увидеть препятствия для широкого внедрения. Существуют серьезные вопросы, связанные с ответственностью, которые еще предстоит решить как нашим культурным нормам, так и правовой системе (Price et al., 2019). С предвзятостью бороться сложнее, чем предполагалось изначально, поскольку компании с благими намерениями создают то, что популярные СМИ называют «расистскими алгоритмами» (Obermeyer et al., 2019). Состязательные атаки могут заставить алгоритмы делать неверные прогнозы, которые не сделал бы ни один эксперт-человек (Finlayson et al., 2019). И среди многих других проблем был разрыв между производительностью модели и продемонстрированной клинической эффективностью для нескольких разных мест (Kelly et al., 2019).

Широкая область ИИ пережила несколько «зим» из-за чрезмерных обещаний и недостаточной реализации; и сегодня мы находимся в «весне» частично из-за улучшений в основных методологиях, доступности данных и вычислительной мощности (Cruz & Treisman, 2020). С этими улучшениями осуществимости область теперь должна бороться с достижением желательности. Продолжая аналогию: чтобы этой весной в сфере здравоохранения расцвели цветы, ключевые заинтересованные стороны должны доверять машинному обучению и внедрять его. Таким образом, цель этой статьи состояла в том, чтобы лучше понять, как клиницисты воспринимают ML в здравоохранении, и изучить, что разработчики инструментов ML, такие как менеджеры по продуктам и инженеры ML, могут сделать для укрепления доверия и принятия. Есть надежда, что, как утверждает доктор Эрик Тополь в своей книге «Глубокая медицина», машинное обучение освободит время и ментальное пространство для клиницистов, чтобы они могли сосредоточиться на человеческих аспектах здравоохранения (Topol, 2009).

Эта статья призвана основываться на предыдущих исследованиях знаний и отношения передовых клиницистов США к инструментам машинного обучения (Blease et al., 2019; Fernandez Garcia et al., 2020; Kennedy & Gallego, 2019; Pinto dos Santos et al., 2019; Полесье и др., без даты; Сарвар и др., 2019). Тем не менее, он выходит за рамки широких опросов и фокусируется на подробных интервью с клиницистами из разных слоев общества. Эти точки зрения передовых врачей дополняют идеи клинических администраторов, разработчиков/исследователей инструментов машинного обучения и пациентов (Craft & Singh, 2020; Marx, 2019; Nelson et al., 2020). Тем не менее, поскольку клиницисты являются основными пользователями многих новых вариантов использования ML в оказании медицинской помощи, их голоса должны быть услышаны, а аспекты технологии, которые вызывают у них энтузиазм и беспокойство, должны быть поняты.

Первичные и вторичные методы исследования

Интервью с врачами

Клиницисты были разысканы с намерением собрать различные точки зрения. Критерии включения можно найти на рисунке 1 с некоторыми исключениями в каждом конкретном случае.

Интервью проводились в течение семинедельного периода, начиная с начала февраля 2020 г., и основывались на последовательном руководстве по проведению интервью (см. Приложение А в конце этого документа). Интервью ограничивались 30 минутами по телефону и часто длились дольше. Автор и вел интервью, и делал записи.

Цель состоит в том, чтобы расширить базу знаний о восприятии клиницистами машинного обучения в здравоохранении в рамках философии открытого исходного кода. Поэтому после каждого интервью заметки обобщались для последующего публичного распространения (например, на Medium) в ожидании одобрения каждого интервьюируемого. Имя, местонахождение, пол, работодатель и другая идентифицирующая информация были удалены, а язык был стандартизирован для простоты чтения и согласованности.

Все необработанные, необобщенные заметки были объединены в один документ, что позволило просмотреть все ответы по вопросам. Ключевые темы и выводы были собраны с помощью итеративного подхода с добавлением подтверждающих цитат к каждому выводу.

Вторичное исследование

Вторичное исследование было проведено как для получения информации о доверии и внедрении машинного обучения в здравоохранении, так и для проверки индивидуальных точек зрения клиницистов.

Журнальные статьи были получены из наиболее влиятельных медицинских журналов в соответствии с частотой ссылок Википедии, еженедельного информационного бюллетеня «Доктор Пингвин» и ведущих учетных записей Twitter (Chen et al., nd; Jemielniak et al., 2019). Список вторичных источников со ссылками на их веб-сайты можно найти в Приложении B в конце этого документа. Учитывая быстрое развитие отрасли, приоритет отдавался статьям, опубликованным с 1 января 2019 года по весну 2020 года.

Статьи из популярных СМИ были получены из регулярных обзоров информационных бюллетеней по электронной почте, на которые подписан автор. Их можно найти в Приложении B. Ограниченное количество этих статей было взято непосредственно из этой статьи, но многие другие предоставили базовое понимание пространства.

Zotero использовался для управления цитированием.

Результаты исследования

К концу семи недель было опрошено 18 клиницистов. Это было незадолго до того, как пандемия COVID-19 официально закрыла часть страны. У клиницистов был разный опыт, и они могли говорить на самые разные темы (см. рис. 2).

Ключевые темы естественным образом возникли на основе структуры руководства по проведению интервью, и раздел «Обсуждение» организован именно так (см. рис. 3).

Обсуждение ключевых тем

1. Знакомство с машинным обучением в здравоохранении

«В средствах массовой информации я слышу о ОД в здравоохранении. Я слышал, что это может быть отличным инструментом. Существует много потенциала для пользы, но также и для вреда».

«Но когда вы начинаете заниматься ИИ, полностью беря на себя то, что делаю я, я просто не верю в это. ИИ — это расплывчатое слово, которое не соответствует действительности. Моя интуиция подсказывает, что мы даже близко не подошли к такому ИИ».

Клиницисты обладали широким кругом знаний об ОД в здравоохранении, которые не были привязаны к их географии или стажу работы. Те, кто был более знаком, имели специальную подготовку или административные роли. Большая часть информации поступила из популярных средств массовой информации, что заставило клиницистов настроиться на определенное количество ажиотажа в этой области. Эту озабоченность по поводу ажиотажа разделяют и другие клинические исследователи (Emanuel & Wachter, 2019). Тем не менее, большинство из них не были обеспокоены краткосрочными значительными последствиями для их работы, поскольку они считали, что здравоохранение в основном предполагает заботу человека о человеке.

2. Использование в прошлом и будущем

«Я бы использовал инструмент машинного обучения, но не думаю, что у меня есть».

«Большая часть моего времени, до восьми часов в неделю, уходит на детальную интерпретацию и маркировку изображений. Если бы у меня был надежный инструмент машинного обучения, я мог бы лучше сосредоточиться на острых проблемах своих пациентов или лечить больше людей».

Клиницисты в основном не использовали или, по крайней мере, думают, что не использовали инструменты машинного обучения в своей клинической практике. Однако они были знакомы с инструментами сортировки, которые могут использовать машинное обучение. Те, кто думает, что они использовали инструменты машинного обучения, оценили сокращение ошибок, но также почувствовали необходимость доверять прогнозам. Заглядывая вперед, клиницисты в основном были открыты для использования инструментов машинного обучения, если они могли доверять им и по-прежнему «быть в курсе».

3. Волнение и беспокойство

Во многих отношениях отношение клиницистов к ОД в здравоохранении было положительным. Они надеялись, что достижения в области машинного обучения и его внедрение в здравоохранение приведут к лучшим результатам для их пациентов, более приятной культуре, меньшему количеству различий в здравоохранении и улучшениям в области ИТ. Однако, когда их спросили напрямую, у них было несколько опасений. Они думали, что врачи сегодня не оснащены инструментами ML, что качество данных является серьезной проблемой и что индустрия ML слишком нова, чтобы ее можно было использовать в клинических условиях. Заглядывая вперед, клиницисты были обеспокоены будущим профессии и непреднамеренными этическими дилеммами. Рисунок 4 включает ключевые категории волнения и беспокойства, разделяемые опрошенными с избранными цитатами. Эти опасения согласуются с тем, что другие клинические исследователи считают ключевыми проблемами для широкого внедрения (He et al., 2019).

4. Этика и конфиденциальность

— Не знаю, действительно ли я так много думал об этом.

«Мы должны убедиться, что мы не усиливаем предубеждения в моделях, которые мы обучаем и развертываем».

На просьбу продолжить изучение этических соображений мнения разделились. Многие не чувствовали себя в состоянии обсуждать это, другие считали, что не должны думать об этике, наконец, у некоторых было четко сформулированное мнение по этому вопросу. Вопросы, связанные с предвзятостью, были наиболее распространенными этическими опасениями. Считалось, что большая часть предвзятости может быть связана с данными, используемыми для обучения алгоритмов. Кроме того, были опасения по поводу того, какие варианты использования могут привести к этическим дилеммам, таким как уход в конце жизни, использование для определенных демографических / социально-экономических статусов, управление использованием страховой компании и общие коммерческие интересы.

«Конфиденциальность не является особым вопросом для ML; это проблема всех цифровых технологий, и я боролся с ней всю свою карьеру».

Клиницисты указали, что HIPAA является лучшей правовой основой для решения вопросов конфиденциальности, а остальные их соображения конфиденциальности касались компаний, не связанных с здравоохранением. Они чувствовали, что эти большие и малые технологические компании, не связанные со здравоохранением, уже имели доступ ко всем данным, поэтому они не были так обеспокоены конфиденциальностью или, по крайней мере, не чувствовали, что мир готов решить эту проблему.

«Я отложил свои этические вопросы на других. Есть специалисты по биоэтике, с которыми мы работаем, и они думают по этому поводу».

В целом, каждый клиницист считал этику важной, но не имел возможности оценивать инструменты ML на предмет этических стандартов и стандартов конфиденциальности. Не имея четкого понимания ML и этических рамок, клиницисты обращались к другим за помощью в оценке этических проблем и проблем конфиденциальности. Клиницисты, особенно в крупных организациях здравоохранения, полагались на администраторов здравоохранения, которым было поручено выяснить эти проблемы.

5. Знание машинного обучения и объяснимость моделей

«Единственное, что мне нужно знать, — это чувствительность и специфичность инструмента машинного обучения, а также, возможно, его воспроизводимость и надежность. Это, наверное, все. Могу ли я доверять этому? Конечно. Мне не нужно знать математику моделей».

«Я знаю, как использовать выходные данные рентгеновских аппаратов, компьютерных томографов и аппаратов МРТ, чтобы помочь своим пациентам. И когда я думаю об этом, у меня есть только очень рудиментарное представление о том, как на самом деле работают эти машины; скорее интуиция против опыта. Так что, возможно, для инструмента машинного обучения мне не нужно знать так много».

Ни один клиницист не чувствовал необходимости иметь более чем базовый уровень понимания ML, аналогичный их базовому уровню понимания того, как работают другие устройства, такие как рентгеновские аппараты, компьютерные томографы и аппараты МРТ. Вместо этого они хотели знать, что алгоритмы используют репрезентативные данные и имеют надежные показатели производительности — те же самые, которые используются для оценки диагностики. Но даже с этими показателями они беспокоились, что если бы у них был инструмент ML, возникали бы непредвиденные риски и не было бы возможности понять ошибки, когда они происходят. Было много призывов к созданию более объяснимых моделей в сфере здравоохранения, но при этом были ограничены представления о том, как ОД повлияет на медицинские злоупотребления служебным положением (Price et al., 2019; Wang et al., 2020).

6. Требуется внешняя проверка

«Мне нужно было бы увидеть какое-то клиническое испытание, в котором был развернут инструмент машинного обучения, и я понимаю, что это трудно сделать. Я также хотел бы увидеть результаты, касающиеся улучшения качества медицинской помощи, пропускной способности клиник и качества жизни врачей и пациентов».

Клиницисты хотели получить внешнюю проверку от FDA, прежде чем использовать инструменты машинного обучения. Хотя они предпочитали рандомизированные контролируемые испытания («РКИ») золотого стандарта, сегодня для моделей глубокого обучения очень мало РКИ и предполагаемых не-РКИ (Nagendran et al., 2020). Тем не менее, клиницисты понимали, что некоторые варианты использования должны пройти с менее строгими клиническими доказательствами. Многие клиницисты рассматривали других поставщиков медицинских услуг или профессиональные сообщества как признаки внешней проверки или обращались за советом как к своим старшим, так и к младшим коллегам. Внешняя проверка использовалась для укрепления доверия к этим инструментам машинного обучения наряду с юридической безопасностью.

7. Будущее клинического образования

«Я думаю, что использование машинного обучения для молодых клиницистов — плохая идея. Существует множество тонкостей, и если вы используете машинное обучение, то вы не получите ни знаний, ни искусства медицины».

«Моя текущая мысль состоит в том, что все новые клиницисты должны хотя бы немного знать о технологии как минимум — очень смутно знать, как она работает, какие варианты использования лучше или хуже, как это повлияет на человеческое клиническое суждение и как клинические специальности могут выглядеть в будущем. На данный момент, я думаю, всю эту информацию можно было бы включить примерно в четыре короткие лекции. Но в будущем, возможно, потребуется существенная переработка учебной программы».

Несмотря на выражение необходимости реформы общего клинического образования, многие клиницисты предсказывали, что клиническое образование научит всех — от начинающих стажеров до практикующих врачей — быть более грамотными в отношении данных. Сегодня все, что им было нужно, — это учебник по машинному обучению; но завтра клиницисты ожидали, что машинное обучение будет внедрено во все части клинического образования. Сегодня ведется работа по включению машинного обучения в клиническое образование, а также обдумывание долгосрочных последствий (Park et al., 2019; Rampton et al., 2020). И наоборот, некоторые считали, что инструменты машинного обучения следует воздерживаться на раннем этапе, чтобы не препятствовать обучению клиническому суждению. В целом, клиницисты не считали, что машинное обучение автоматизирует их, но считают, что оно способствует значимым изменениям в их профессии.

8. Желаемые варианты использования

Клиницистам было интересно подумать о том, как машинное обучение может быть применено к их клинической специальности и другим. Хотя им не сказали, что возможно, у многих были идеи о том, какие потребности существуют сегодня. Эти идеи охватывают сортировку населения, скрининг и диагностику, поддержку принятия клинических решений, улучшение качества, улучшение данных и другие темы. Рисунок 5 включает варианты использования, которые определили респонденты.

9. Реализация

«Если вы собираетесь создать какой-либо инструмент машинного обучения, то он должен быть интегрирован с электронной медицинской картой — это центр моей жизни, где хранятся все данные о моих пациентах. Каждый врач в Америке использует EHR. Поэтому, если инструмент ML не интегрируется с EHR и представляет собой отдельное окно, то я не знаю, как его будут использовать».

«Я думаю, что в качестве первого шага необходимо провести убедительную проверку. Затем, когда он будет полностью реализован, необходимо продолжить наблюдение за его эффективностью. Например, эти инструменты могут быть созданы в другой среде, поэтому нам нужно убедиться, что они работают у нас».

Клиницисты хотели убедиться, что внедрение не оставит непроверенный инструмент машинного обучения в руках менее подготовленного врача и не усложнит их существующие рабочие процессы. Те, у кого был административный и деловой опыт, знали о важности поэтапного внедрения, а также о системном мышлении, например, о том, какие ресурсы клинической доставки доступны после любого источника автоматизации. Они хотели, чтобы клиницисты были вовлечены в внедрение, но боролись с краткосрочным отвлечением от оказания помощи.

10. Процесс покупки

«У него должно быть очень четкое ценностное предложение. Какой будет рентабельность инвестиций? Будет ли значимое возвращение? Эти компании говорят мне, как мы будем практиковаться лучше, но мне также нужно знать, как мы будем экономить или зарабатывать деньги. К сожалению, система не побуждает нас работать лучше, она побуждает нас работать быстрее».

«Мне сложно отвечать на холодное письмо от неизвестного стартапа машинного обучения. Меня больше интересуют бренды Big Tech, которые я знаю и которым доверяю».

Клиницисты объяснили, что процесс покупки инструмента машинного обучения будет сложным, поскольку многие заинтересованные стороны будут участвовать в принятии решений. Эти заинтересованные стороны, по-видимому, отличались друг от друга в каждой ситуации, как и их аргументы в пользу принятия решения о покупке (см. рис. 6). ROI был наиболее распространенным ценностным предложением, но его нужно было позиционировать по-разному при разговоре с поставщиком в мире платных услуг по сравнению с поставщиком услуг, основанным на ценности. Они были чувствительны к недавней истории выгорания электронных медицинских карт и доверяли признанным технологическим брендам, а не менее известным стартапам. Меньшие провайдеры заявили, что им будет сложно сделать ставку на новую технологию.

Вывод

По мере того, как машинное обучение развивается и становится все более распространенным в сфере здравоохранения, менеджеры по продукции и инженеры/исследователи машинного обучения должны лучше понимать точки зрения клиницистов, чтобы завоевать доверие и принятие. В будущем автор продолжит свое исследование, собирая и анализируя точки зрения этих разработчиков инструментов машинного обучения и публикуя дополнительные результаты.

использованная литература

Абид, А., Абдалла, А., Абид, А., Хан, Д., Альфозан, А., и Зоу, Дж. (2020). Онлайн-платформа для интерактивной обратной связи в области биомедицинского машинного обучения. Машинный интеллект природы, 2(2), 86–88. https://doi.org/10.1038/s42256-020-0147-8

Аллерголог. (2020, март). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Институт науки о данных Американского колледжа радиологии. (н.д.). Определить каталог AI. Получено 13 апреля 2020 г. с https://www.acrdsi.org/DSI-Services/Define-AI.

Близ, К., Капчук, Т.Дж., Бернштейн, М.Х., Мандл, К.Д., Халамка, Дж.Д., и ДеРочес, К.М. (2019). Искусственный интеллект и будущее первичной медико-санитарной помощи: исследовательское качественное исследование мнений врачей общей практики Великобритании. Journal of Medical Internet Research, 21(3), e12802. https://doi.org/10.2196/12802

Кардиолог. (2020, март). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Исследование CB Insights. (2020). Искусственный интеллект в цифрах, первый квартал 2020 г.: глобальное финансирование, корпоративная деятельность, партнерские отношения и тенденции исследований и разработок. https://www.cbinsights.com/research/report/ai-in-numbers-q1-2020/

Чен, Э., Раджпуркар, П., Тополь, Э., и Нг, А. (nd). Доктор Пингвин. Получено 15 апреля 2020 г. с сайта http://doctorpenguin.com.

Ассоциация потребительских технологий. (2020). Определения/характеристики искусственного интеллекта в здравоохранении (ANSI/CTA-2089.1) (стр. 32). Ассоциация потребительских технологий. https://shop.cta.tech/products/definitions-characteristics-of-ai-in-health-care

Крафт, Л. (2019a, 25 февраля). ИТ-директора медицинских учреждений: опередите инновации в сфере ИИ благодаря эффективному управлению ИИ. Гартнер. https://www.gartner.com/document/3902977

Крафт, Л. (2019b, 2 августа). Понять ценность ИИ для медицинских организаций. Гартнер. https://www.gartner.com/document/3869974

Крафт, Л., и Джонс, М. (2019). Hype Cycle for Healthcare Providers, 2019. Гартнер. https://www.gartner.com/document/3953717

Крафт, Л., и Сингх, П. (2020). Состояние ИИ — взгляд медицинских работников. Гартнер. https://www.gartner.com/document/3979188

Круз, Л.П., и Трейсман, Д. (2020). Снова сделать ИИ великим: сохранить весну ИИ. 144–151. http://www.scitepress.org/DigitalLibrary/Link.aspx?doi=10.5220/0006896001440151

Кутильо, К.М., Шарма, К.Р., Фошини, Л., Кунду, С., Макинтош, М., и Мандл, К.Д. (2020). Машинный интеллект в здравоохранении — перспективы надежности, объяснимости, удобства использования и прозрачности. Цифровая медицина, 3(1), 1–5. https://doi.org/10.1038/s41746-020-0254-2

Дерматолог. (2020, февраль). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Эмануэль, Э.Дж., и Вахтер, Р.М. (2019). Искусственный интеллект в здравоохранении: будет ли ценность соответствовать шумихе? JAMA, 321(23), 2281–2282. https://doi.org/10.1001/jama.2019.4914

Врач скорой медицинской помощи. (2020, февраль). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Врач скорой медицинской помощи. (2020, март). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Эндокринолог. (2020, март). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Фаес, Л., Вагнер, С.К., Фу, Д.Дж., Лю, X., Корот, Э., Ледсам, Дж. Р., Бэк, Т., Чопра, Р., Понтикос, Н., Керн, К., Мораес, Г. ., Шмид, М.К., Сим, Д., Баласкас, К., Бахманн, Л.М., Деннистон, А.К., и Кин, П.А. (2019). Автоматизированный дизайн глубокого обучения для классификации медицинских изображений медицинскими работниками без опыта программирования: технико-экономическое обоснование. The Lancet Digital Health, 1(5), e232–e242. https://doi.org/10.1016/S2589-7500(19)30108-6

Фернандес Гарсия, Дж., Спатару, А., Иеронимус, С., Бек, Дж.-П., и Дженкинс, Дж. (2020). Преобразование здравоохранения с помощью ИИ: влияние на медицинские работники и организации (стр. 134). EIT Health, McKinsey & Company. https://eithealth.eu/our-impact/our-reports/report-transforming-healthcare-with-ai/

Финлейсон, С.Г., Бауэрс, Дж.Д., Ито, Дж., Зиттрейн, Дж.Л., Бим, А.Л., и Кохане, И.С. (2019). Противоборствующие атаки на медицинское машинное обучение. Наука, 363(6433), 1287–1289. https://doi.org/10.1126/science.aaw4399

Гастроэнтеролог. (2020, февраль). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Гейс, Дж. Р., Брэди, А. П., Ву, К. С., Спенсер, Дж., Раншарт, Э., Яремко, Дж. Л., Лангер, С. Г., Боронди Киттс, А., Берч, Дж., Шилдс, В. Ф., ван ден Ховен ван Гендерен , Р., Коттер, Э., Вавира Гичоя, Дж., Кук, Т.С., Морган, М.Б., Танг, А., Сафдар, Н.М., и Кохли, М. (2019). Этика искусственного интеллекта в радиологии: краткое изложение Совместного европейского и североамериканского мультиобщественного заявления. Радиология, 293(2), 436–440. https://doi.org/10.1148/radiol.2019191586

Герке С., Бабич Б., Евгениу Т. и Коэн И. Г. (2020). Потребность в системном представлении для регулирования программного обеспечения на основе искусственного интеллекта/машинного обучения как медицинского устройства. Цифровая медицина, 3(1), 1–4. https://doi.org/10.1038/s41746-020-0262-2

Гибсон, В., и Брин, Д. (22 октября 2018 г.). Наука в научной фантастике [Подкаст NPR]. https://www.npr.org/2018/10/22/1067220/the-science-in-science-fiction

Гекс, Дж., Джалили, В., Хайзер, Л.М., и Грей, Дж.В. (2020). Как машинное обучение изменит биомедицину. Cell, 181(1), 92–101. https://doi.org/10.1016/j.cell.2020.03.022

Хе, Дж., Бакстер, С.Л., Сюй, Дж., Сюй, Дж., Чжоу, X., и Чжан, К. (2019). Практическое внедрение технологий искусственного интеллекта в медицине. Природная медицина, 25(1), 30–36. https://doi.org/10.1038/s41591-018-0307-0

Госпиталист. (2020, февраль). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Госпиталист. (2020, март). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Хванг, Т.Дж., Кессельхейм, А.С., и Вокингер, К.Н. (2019). Регулирование жизненного цикла программных устройств на основе искусственного интеллекта и машинного обучения в медицине. JAMA, 322(23), 2285–2286. https://doi.org/10.1001/jama.2019.16842

Джемельняк Д., Масукуме Г. и Виламовски М. (2019). Самые влиятельные медицинские журналы согласно Википедии: количественный анализ. Journal of Medical Internet Research, 21(1), e11429. https://doi.org/10.2196/11429

Джобин, А., Йенка, М., и Вайена, Э. (2019). Глобальный ландшафт руководящих принципов этики ИИ. Nature Machine Intelligence, 1(9), 389–399. https://doi.org/10.1038/s42256-019-0088-2

Келли, С.Дж., Картикесалингам, А., Сулейман, М., Коррадо, Г., и Кинг, Д. (2019). Ключевые проблемы для оказания клинического воздействия с помощью искусственного интеллекта. BMC Medicine, 17(1), 195. https://doi.org/10.1186/s12916-019-1426-2

Кеннеди, Г., и Гальего, Б. (2019). Правила клинического прогнозирования: систематический обзор мнений и предпочтений поставщиков медицинских услуг. Международный журнал медицинской информатики, 123, 1–10. https://doi.org/10.1016/j.ijmedinf.2018.12.003

Ларсон Д.Б., Магнус Д.К., Лунгрен М.П., ​​Шах Н.Х. и Ланглотц С.П. (2020). Этика использования и обмена данными клинических изображений для искусственного интеллекта: предлагаемая структура. Radiology, 192536. https://doi.org/10.1148/radiol.2020192536

Литтманн М., Селиг К., Коэн-Лави Л., Франк Ю., Хёнигшмид П., Катака Э., Мёш А., Цянь К., Рон А., Шмид С. ., Сорби А., Шлак Л., Даган-Винер А., Бен-Таль Н., Нив М.Ю., Разанский Д., Шуллер Б.В., Анкерст Д., Герц Т. и Рост, Б. (2020). Валидность машинного обучения в биологии и медицине повысилась благодаря сотрудничеству в разных областях знаний. Машинный интеллект природы, 2(1), 18–24. https://doi.org/10.1038/s42256-019-0139-8

Лю, Х., Ривера, С.К., Фаес, Л., Ферранте ди Руффано, Л., Яу, К., Кин, П.А., Ашрафян, Х., Дарзи, А., Фоллмер, С.Дж., Дикс, Дж., Бахманн , Л., Холмс, К., Чан, А.В., Мохер, Д., Калверт, М.Дж., Деннистон, А.К., и Руководящая группа CONSORT-AI и SPIRIT-AI. (2019). Необходимы рекомендации по отчетности для клинических испытаний, оценивающих вмешательства искусственного интеллекта. Nature Medicine, 25(10), 1467–1468. https://doi.org/10.1038/s41591-019-0603-3

Маркс, В. (2019). Машинное обучение, практически говоря. Природные методы, 16(6), 463–467. https://doi.org/10.1038/s41592-019-0432-9

Матени, М.Э., Уичер, Д., и Исрани, С.Т. (2020). Искусственный интеллект в здравоохранении: отчет Национальной медицинской академии. JAMA, 323(6), 509–510. https://doi.org/10.1001/jama.2019.21579

Медицинская зарегистрированная медсестра. (2020, март). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Морли, Дж., и Флориди, Л. (2020). Этически осознанный подход к ИИ для здравоохранения. Ланцет, 395(10220), 254–255. https://doi.org/10.1016/S0140-6736(19)32975-7

Нагендран, М., Чен, Ю., Лавджой, К.А., Гордон, А.К., Коморовски, М., Харви, Х., Тополь, Э.Дж., Иоаннидис, Дж.П.А., Коллинз, Г.С., и Марутаппу, М. (2020). Искусственный интеллект против клиницистов: систематический обзор дизайна, стандартов отчетности и заявлений об исследованиях глубокого обучения. BMJ, 368. https://doi.org/10.1136/bmj.m689

Нельсон, К.А., Перес-Чада, Л.М., Креадор, А., Ли, С.Дж., Ло, К., Манджали, П., Пурнамдари, А.Б., Ткаченко, Э., Барбьери, Дж.С., Ко, Дж.М., Менон, А.В., Хартман, Р.И., и Мостагими, А. (2020). Взгляд пациентов на использование искусственного интеллекта для скрининга рака кожи: качественное исследование. Дерматология JAMA. https://doi.org/10.1001/jamadermatol.2019.5014

Обермейер, З., Пауэрс, Б., Фогели, К., и Муллайнатан, С. (2019). Анализ расовых предубеждений в алгоритме, используемом для управления здоровьем населения. Наука, 366(6464), 447–453. https://doi.org/10.1126/science.aax2342

Парих, Р. Б., Типл, С., и Навате, А. С. (2019). Устранение предвзятости в области искусственного интеллекта в здравоохранении. JAMA, 322(24), 2377–2378. https://doi.org/10.1001/jama.2019.18058

Парк, С.Х., До, К.-Х., Ким, С., Парк, Дж.Х., и Лим, Ю.-С. (2019). Что должны знать студенты-медики об искусственном интеллекте в медицине? Journal of Educational Evaluation for Health Professions, 16. https://doi.org/10.3352/jeehp.2019.16.18

Пинту душ Сантуш, Д., Гизе, Д., Бродель, С., Чон, С. Х., Стааб, В., Кляйнерт, Р., Майнц, Д., и Бесслер, Б. (2019). Отношение студентов-медиков к искусственному интеллекту: многоцентровое исследование. Европейская радиология, 29(4), 1640–1646. https://doi.org/10.1007/s00330-018-5601-1

Пластический и реконструктивный хирург. (2020, март). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Полесье, С., Гиллстедт, М., Киттлер, Х., Лаллас, А., Чандл, П., Залаудек, И., и Паоли, Дж. (nd). Отношение к искусственному интеллекту в дерматологии: международный онлайн-опрос. Британский журнал дерматологии, н/д(н/д). https://doi.org/10.1111/bjd.18875

Прайс, В.Н., Герке, С., и Коэн, И.Г. (2019). Потенциальная ответственность врачей, использующих искусственный интеллект. JAMA, 322(18), 1765–1766. https://doi.org/10.1001/jama.2019.15064

Лечащий врач. (2020а, февраль). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Лечащий врач. (2020b, февраль). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Психиатр. (2020, март). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Радиационный онколог. (2020, март). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Рентгенолог. (2020, март). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Райкомар, А., Дин, Дж., и Кохан, И. (2019). Машинное обучение в медицине. Медицинский журнал Новой Англии, 380(14), 1347–1358. https://doi.org/10.1056/NEJMra1814259

Рэмптон, В., Миттельман, М., и Голдхан, Дж. (2020). Значение искусственного интеллекта для медицинского образования. The Lancet Digital Health, 2(3), e111–e112. https://doi.org/10.1016/S2589-7500(20)30023-6

Сарвар С., Дент А., Фауст К., Ричер М., Джурик У., Ван Оммерен Р. и Диамандис П. (2019). Взгляд врачей на интеграцию искусственного интеллекта в диагностическую патологию. Цифровая медицина, 2(1), 1–7. https://doi.org/10.1038/s41746-019-0106-0

Сендак, М.П., ​​Гао, М., Браджер, Н., и Балу, С. (2020). Представление информации о модели машинного обучения конечным пользователям с метками фактов модели. Цифровая медицина, 3(1), 1–4. https://doi.org/10.1038/s41746-020-0253-3

Медицинский футурист. (2020). Одобренные FDA алгоритмы на основе искусственного интеллекта. Медицинский футурист. https://medicalfuturist.com/fda-approved-ai-based-algorithms

Дипломированная медсестра травматологии. (2020, февраль). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Уролог. (2020, март). Интервью с врачом (Х. Голдберг, интервьюер) [Личное общение].

Воллмер С., Матин Б.А., Бонер Г., Кирали Ф.Дж., Гани Р., Йонссон П., Камберс С., Джонас А., Макаллистер К.С.Л., Майлс П., Грейнджер Д. ., Бирс, М., Брэнсон, Р., Мунс, КГМ, Коллинз, Г.С., Иоаннидис, JPA, Холмс, К., и Хемингуэй, Х. (2020). Машинное обучение и исследования искусственного интеллекта в интересах пациентов: 20 важнейших вопросов о прозрачности, воспроизводимости, этичности и эффективности. BMJ, 368. https://doi.org/10.1136/bmj.l6927

Ван, Ф., Каушал, Р., и Хуллар, Д. (2020). Должно ли здравоохранение требовать интерпретируемого искусственного интеллекта или принять медицину черного ящика? Annals of Internal Medicine, 172(1), 59. https://doi.org/10.7326/M19-2548

Что такое ИИ? (2014, 5 сентября). Общество изучения искусственного интеллекта и моделирования поведения. https://aisb.org.uk/what-is-ai/

Приложение A: Руководство по проведению интервью с клиницистом

Контекст

● Я аспирант Калифорнийского университета в Беркли, получив двойную степень магистра в области здравоохранения и магистра делового администрирования, специализируюсь на машинном обучении в здравоохранении.

● Я работаю над кульминационным камнем моей магистерской программы о том, как машинное обучение, или МО, можно использовать для помощи клиницистам в скрининге, сортировке населения, диагностике и/или мониторинге.

● Я беру интервью у разных врачей — врачей, НП, RN и других — из разных слоев общества — по всей стране, разных специальностей, с разным стажем работы и с разным уровнем заинтересованности или использования инструментов МО.

● Ваше имя, связанное с выводами из этого интервью, будет храниться в тайне от меня и моих читателей. В конечном итоге я постараюсь самостоятельно опубликовать избранные резюме моих интервью, но они будут деидентифицированы и одобрены интервьюируемым до распространения.

● Есть ли у вас какие-либо вопросы по процессу или ожиданиям?

1. Знакомство с ML в здравоохранении

● Для начала, что вы слышали об искусственном интеллекте и/или машинном обучении в здравоохранении?

2. Прошлое и будущее использование

● Использовали ли вы какие-либо инструменты машинного обучения? Не могли бы вы?

3. Волнение и беспокойство

● Что вас беспокоит или волнует в сфере ОД в здравоохранении? Что еще волнует или беспокоит вас?

4. Этика и конфиденциальность

● Какое значение при этом имеет этика? Что может пойти не так, или что можно было бы сделать хорошо?

● Как ко всему этому относится конфиденциальность?

● Как следует использовать данные? Кто должен или не должен иметь к нему доступ?

● Кто еще должен помочь вам проинформировать или решить за вас, является ли инструмент ML этичным и достаточно конфиденциальным?

● Доверяете ли вы этим разработчикам инструментов машинного обучения доступ к этим данным? Почему или почему нет?

5. Знание машинного обучения и объяснимость модели

● На каком уровне вам нужно понять, как модель делает свой прогноз?

6. Необходимость внешней проверки

● Какое внешнее подтверждение вам потребуется, чтобы вы захотели использовать инструмент машинного обучения? Какие типы государственных и/или неправительственных учреждений будут играть роль?

7. Клиническое образование

● Как это повлияет на клиническое образование?

8. Желаемые варианты использования

● Где есть возможности помочь клиницистам с ML? Представьте себе: технологическая компания мирового класса разработала инструмент машинного обучения, который предлагает возможные диагнозы или сортирует пациентов. Что им лучше построить сейчас и почему?

9. Реализация

● Когда внедряется инструмент машинного обучения, как это следует делать? Кто должен иметь доступ в первую очередь; кто не должен?

10. Процесс покупки

● Если вы занимаетесь медициной, кто будет участвовать в принятии решения о покупке и использовании инструмента машинного обучения?

● Какие данные, ссылки и обещания им нужно будет узнать, чтобы в конечном итоге сказать «да» или «нет»?

Приложение B: Вторичные источники