Подробное описание разработки бесплатной учебной программы для продвижения алгоритмической прозрачности в контексте здравоохранения.

Аннотация

В последние годы методологии машинного обучения (ML) стали более изощренными и полезными, что привело к более широкому применению в контекстах исследований и разработок в разных дисциплинах. Однако, хотя машинное обучение полезно, все больше внимания уделяется уязвимости этих методов к предвзятости как структуры алгоритмов моделей, так и данных, на которых они обучаются. Несмотря на то, что не существует отраслевых стандартов в контексте здравоохранения для документирования характеристик производительности обученных моделей машинного обучения, а также ограничений или методов, используемых при отборе и предварительной обработке наборов данных машинного обучения, было предложено несколько методов и средств раскрытия информации наряду с усилиями по их стандартизации. Однако основным препятствием для этих усилий по стандартизации является отсутствие образовательных ресурсов о цели и ценности использования методов раскрытия моделей и наборов данных (MDSD) в контексте здравоохранения, а также ограниченное обучение для продвижения их использования. Чтобы восполнить этот пробел, мы представляем MDSD4Health, бесплатную учебную программу MDSD с низким уровнем барьеров для медицинских контекстов.

Предыстория и мотивация

Предвзятость машинного обучения в здравоохранении и общественном здравоохранении

Машинное обучение (МО) относится к множеству методов, которые позволяют вычислительной системе автономно обучаться на больших объемах данных для выполнения задачи (например, делать прогнозы или решения) без явного программирования для этого. В последние годы методологии машинного обучения стали более изощренными и полезными, что привело к более широкому внедрению в контексте исследований и разработок в разных дисциплинах. Однако, хотя ML явно полезен, все больше внимания уделяется уязвимости этих методов к предвзятости как через структуру алгоритмов моделей, так и через данные, на которых они обучаются. Склонность моделей ML увековечивать или усугублять предубеждения особенно существенна в контексте здравоохранения и общественного здравоохранения, где ключевыми фокусами являются смягчение неравенства в отношении здоровья и продвижение справедливости в отношении здоровья.

В последние годы было задокументировано несколько последствий сохранения предвзятости со стороны моделей ML и их реализаторов в сфере здравоохранения, включая использование алгоритма оптимизации кадровых ресурсов Департаментом социальных служб Арканзаса, который в 2016 году непреднамеренно сократить покрытие ухода и часы обслуживания для ранее соответствующих критериям пациентов без четкого объяснения, почему. Другие примеры включают использование моделей, обученных на исторических данных об использовании медицинских услуг, которые могут увековечить существующие модели различий в уходе в своих оценках и рекомендациях. Одним из таких случаев была сложная модель оценки потребностей в уходе, которая непропорционально неправильно классифицировала подходящих чернокожих пациентов как не подходящих для программы управления уходом с высоким риском по сравнению с подходящими белыми пациентами. Эта ошибка была отчасти связана с использованием исторических расходов на уход в качестве показателя потребности в уходе при отсутствии учета недопредставленности, связанной с исторически неравным доступом к уходу.

Предлагаемые стратегии смягчения предвзятости включают обзор наборов данных для оценки представления данных по контекстуально релевантным категориям (таким как демографические данные или модели непрерывности ухода); оптимизация моделей для несбалансированных наборов данных; тестирование моделей на всех этапах разработки; сосредоточение внимания на клинически или практически значимых результатах, а не только на показателях эффективности; предоставление кода и наборов данных для репликации и воспроизведения; и сотрудничество в междисциплинарных группах для разработки функций, выбора подходящих настроек для использования ML, интерпретации результатов и проведения последующих оценок.

Поскольку некоторые из этих стратегий требуют углубленного анализа процесса разработки модели или наборов данных для обучения, они могут быть обеспечены за счет надежного раскрытия происхождения модели, включая известные ограничения разработки, показатели производительности, предполагаемое использование, а также набор данных для обучения, тестирования и проверки. состав. Учитывая это, разработка надежных методов раскрытия и средств была предложена в качестве центральной стратегии в стремлении к достижению алгоритмической прозрачности в контексте здравоохранения и общественного здравоохранения.

Раскрытие информации для предотвращения предвзятости машинного обучения

Хотя не существует отраслевых стандартов для документирования характеристик обученных моделей машинного обучения, а также ограничений или методов, используемых при отборе и предварительной обработке наборов данных машинного обучения, было предложено несколько методов и средств раскрытия информации [см. здесь, здесь , здесь, здесь и здесь]. В этой работе мы предлагаем термин для обозначения обширного набора предлагаемых методов и средств, которые позволяют преднамеренно сообщать и сообщать о происхождении модели ML (ограничения, показатели производительности, предполагаемое использование), а также о происхождении и составе модели. наборы данных, используемые для обучения, тестирования и проверки модели: Раскрытие информации о моделях и наборах данных (MDSD).

MDSD можно разделить на две подкатегории:

  1. Раскрытие набора данных
  2. Раскрытие моделей.

Раскрытие набора данных

Согласно нашему рабочему определению, раскрытие наборов данных — это MDSD, в которых особое внимание уделяется происхождению, характеристикам, составу и рекомендуемому использованию наборов данных, предназначенных для использования при обучении, тестировании и проверке моделей машинного обучения. Выбор методов и средств раскрытия наборов данных, предложенных в литературе, включает таблицы данных для наборов данных, карты наборов данных, этикетку набора данных [первое поколение и второе поколение] и формулы данных для обработки естественного языка.

Раскрытие информации о модели

Раскрытие информации о моделях, согласно нашему рабочему определению, — это MDSD, в которых особое внимание уделяется происхождению, ограничениям, показателям производительности и рекомендуемому использованию обученных моделей машинного обучения. Некоторые методы и средства раскрытия информации о моделях, предложенные в литературе, включают карточки с моделями, справочные материалы и заявление TRIPOD (хотя формат заявления TRIPOD не разработан специально для моделей машинного обучения, его можно применять к соответствующим моделям контролируемого обучения). .)

Предыдущая работа и возможности внести свой вклад

Признавая ценность раскрытия информации о модели при развертывании модели машинного обучения, связанной со здоровьем, мой друг и коллега Вивиан Нейли из Google Cloud Healthcare & Life Sciences разработала концепцию Быстрых ресурсов взаимодействия в здравоохранении. (FHIR)» в стремлении к более значимой интеграции и стандартизации использования модельных карт в контексте здравоохранения. Она подготовила и представила эту работу к получению степени магистра наук в области медицинской информатики и аналитики (HIA) в Медицинской школе Университета Тафтса в 2021 году.

Однако существенным препятствием для идеалов стандартизации, предложенных в работе Вивиан, было отсутствие образовательных ресурсов о цели и ценности использования модельных карточек в контексте здравоохранения, а также ограниченное обучение для продвижения их использования. Отсутствие доступного образования является хорошо задокументированным барьером для стандартизации практики [см. также здесь и здесь]. Таким образом, одна из возможностей расширить эту работу заключалась в разработке образовательного ресурса, который поможет заполнить пробел.

Вторая возможность развить работу Вивиан заключалась в том, чтобы расширить сферу деятельности с раскрытия информации только о моделях, чтобы включить раскрытие информации о наборах данных. Учитывая, что данные влияют на производительность моделей ML, сбор, обработка и составление наборов данных существенно влияют на тип моделей, которые можно построить, и на то, как они используются. Сосредоточение внимания на роли отчетности наборов данных в усилиях по обеспечению прозрачности моделей может обеспечить более надежные стратегии отчетности и способствовать идеалам стандартизации практики прозрачности моделей в контексте здравоохранения.

Цели проекта

Основная цель этого проекта заключалась в разработке рабочей учебной программы модели машинного обучения и раскрытия набора данных (MDSD) для общественного здравоохранения и здравоохранения, которая включала учебное пособие, модули контента и упражнения по кодированию для закрепления концепций. Проект был направлен на развитие предыдущей работы по стандартизации использования модельных карт, сосредоточив внимание на двух возможностях для улучшения:

  1. ограниченное образование как барьер для стандартизации практики
  2. отсутствие внимания к раскрытию наборов данных

Этот проект представлял собой попытку использовать и разработать бесплатные образовательные материалы с открытым исходным кодом для содействия справедливому использованию, принятию и возможной стандартизации методов MDSD в контексте здравоохранения и общественного здравоохранения (таких, которые первоначально были предложены Вивиан).

Второстепенной целью этого проекта было выявление возможностей для обеспечения непрерывности проекта. Поскольку этот проект основан на работе бывшего аспиранта, дополнительным компонентом этой работы было определение путей будущих итераций проекта для тех, кто интересуется прозрачностью модели машинного обучения в здравоохранении или общественном здравоохранении.

Методы

Разработка веб-сайта

Учебная программа по раскрытию информации о моделях и наборах данных для контекстов здравоохранения (MDSD4Health) была опубликована в Интернете через Сайты Google, инструмент для создания структурированных веб-страниц, предлагаемый Google. После разработки первоначальной структуры учебной программы контент был представлен в виде серии веб-страниц. На сегодняшний день учебная программа содержит 28 веб-страниц и подстраниц, в том числе домашнюю страницу, страницу «об учебной программе, страницы ресурсов и подстраницы, страницу подтверждения и несколько страниц, посвященных содержанию учебной программы MDSD4Health. ».

Курирование и разработка контента

Информация, доступная на веб-сайте MDSD4Health, включает как оригинальный контент, так и кураторский контент из внешних источников. Кураторский контент был тщательно отобран из надежных источников, включая академические журналы и авторитетные онлайн-образовательные организации. Контент также был выбран на основе доступности в свободном доступе, чтобы соответствовать обязательствам учебной программы по бесплатному доступу (т. е. не требуется платный доступ к статьям или институциональная принадлежность). Кураторский контент MDSD4Health включает в себя академические публикации в открытом доступе из таких журналов, как Journal of the American Medical Association (JAMA), образовательные видеоролики от создателей, таких как Crash Course от Complexly, онлайн-статьи от уважаемых издателей, таких как MIT Technology Review, и веб-страницы. получено с таких платформ, как Google Developers. Весь отобранный контент сопровождается оригинальной графикой или графикой из внешних источников, а также ключевыми моментами, чтобы явно связать контент с целью урока. Весь кураторский контент также сопровождается рекомендуемой цитатой, так что авторы оригинала указывают свою работу, а не MDSD4Health.

Оригинальный контент был разработан для дополнения или расширения кураторского контента. Оригинальные видеоролики были созданы и записаны с использованием Microsoft PowerPoint и загружены на YouTube перед встраиванием в веб-сайт MDSD4Health. Оригинальная графика была создана с помощью Canva. Оригинальные упражнения Python были разработаны в Google Colaboratory (Colab). Два упражнения были адаптированы из существующих упражнений и адаптированы к цели соответствующего подмодуля, которая четко указана во введении к каждому упражнению, наряду с обзором внесенных изменений.

Организация учебной программы

Содержимое MDSD4Health организовано в виде модулей, подмодулей и разделов. Учебная программа состоит из пяти модулей, каждый из которых содержит от одного до трех подмодулей. Два подмодуля содержат дополнительные мини подмодули с сокращенным содержанием. В каждом подмодуле существует несколько разделов, содержащих содержимое, относящееся к подмодулю. Подробный обзор организации учебного плана см. в Руководстве по обучению MDSD4Health.

Модули и подмодули

Модули и подмодули, предлагаемые в учебной программе MDSD4Health, организованы следующим образом:

Разделы

Для согласованности содержимое каждого подмодуля разделено на однородные разделы, начиная с директивы, ориентированной на действие, такой как читать, исследовать или упражняться. В сопроводительном Руководстве по обучению все разделы дополнены соответствующим значком с гиперссылкой.

Упражнения

Учебная программа MDSD4Health включает пять демонстрационных упражнений Python, предназначенных для выполнения в Google Colab или других средах Jupyter Notebook. Каждый модуль содержит от одного до двух упражнений, предназначенных для дальнейшей демонстрации концепции, представленной в соответствующем подмодуле упражнения.

Первые два упражнения, предлагаемые в подмодулях 1.1 и 1.2 соответственно, относятся к основополагающим понятиям машинного обучения.

В первом упражнении учащиеся создают простую модель классификатора k-ближайших соседей (KNN), используя знаменитый Висконсинский (диагностический) набор данных по раку молочной железы. В упражнении демонстрируется импорт и разделение набора данных с целевой переменной, создание классификатора KNN с использованием пакета scikit-learn в Python и оценка производительности с использованием показателей производительности на основе матрицы путаницы.

Во втором упражнении учащиеся строят простую искусственную нейронную сеть, используя данные синтетического опроса, которые непреднамеренно вносят систематическую ошибку. Упражнение основано на существующей лаборатории на основе ноутбуков, предлагаемой Искусственным интеллектом ускоренного курса, и адаптировано к контексту здравоохранения. Упражнение демонстрирует создание синтетических данных опроса, разделение наборов данных, построение простой нейронной сети и просмотр показателей производительности. Однако, в дополнение к построению и тестированию модели, это упражнение знакомит учащихся с концепцией аудита модели помимо показателей эффективности, обращая внимание на влияние предвзятой модели на решение о финансировании, связанное со здравоохранением. Учащиеся обнаруживают, что их данные синтетического опроса были подвержены как систематической ошибке выборки, так и необнаруженной корреляции признаков. Хотя показатели производительности на основе матрицы путаницы указывали на хорошую производительность модели, неспособность учесть контекстуальные нюансы их набора данных привела к искажению распределения и, следовательно, к неправильной интерпретации их моделью.

Третье упражнение, предлагаемое в подмодуле 2.1, знакомит учащихся с раскрытием методов предварительной обработки данных для обеспечения репликации и воспроизведения методов. Учащиеся импортируют, объединяют и создают подмножества двух наборов данных NHANES до пандемии (2017–2020 гг.) в соответствии с заданными критериями включения, а затем им предлагается язык методов раскрытия для сопровождения этого подмножества, чтобы другие могли легко воспроизвести их методы при необходимости. Соответствующий подмодуль упражнения направлен на формирование интереса к прозрачности обучения и приверженности надежной науке. Это упражнение представляет собой краткое введение в то, как раскрытие мер по сбору и предварительной обработке данных может способствовать этой всеобъемлющей работе таким образом, чтобы способствовать прозрачности.

Последние два упражнения, предлагаемые в подмодулях 3.1 и 4.1 соответственно, относятся к двум предложенным в литературе MDSD: Datasheets for Datasets и Model Cards. Упражнение, предлагаемое в подмодуле 3.1, представляет собой сценарий, который создает таблицу данных для подмножества данных NHANES, созданного в предыдущем модуле. Учащиеся загружают свое подмножество, чтобы получить автоматические раскрытия информации о характеристиках набора данных (форма и частота типов данных), и предлагают ручное раскрытие информации там, где это указано в сценарии, на основе действий по сбору и предварительной обработке, которые они выполнили в предыдущем упражнении. Сценарий использует пакет PyFPDF для создания и экспорта своей таблицы данных в формате PDF.

В заключительном упражнении учебной программы в подмодуле 4.1 учащиеся создают и экспортируют модель карты для классификатора, разработанного с использованием набора (диагностических) данных Висконсин, Рак груди, в виде HTML-страницы. Упражнение основано на существующем блокноте, предложенном командой Google Cloud как часть их Model Card Toolkit. Изменения, внесенные в исходную записную книжку, включают добавление комментариев, аннотаций, расширение/перефразирование пояснений блока кода и изменение порядка шагов оценки модели; однако весь исполняемый код остался без изменений.

Другие функции

В дополнение к основному учебному плану, организованному в виде модулей, подмодулей и разделов, контент MDSD4Health доступен через другие функции веб-сайта.

  • Руководство по обучению: Руководство по обучению MDSD4Health — это сопроводительный документ учебной программы, который предлагает краткое изложение содержания MDSD4Health посредством кратких описаний разделов, ключевых понятий и оценок времени завершения. Он предназначен для использования лицами, которые либо просматривают учебную программу MDSD4Health для себя, либо интегрируют содержание в существующий курс, чтобы более эффективно определять интересующие его части.

  • Ресурсы: учебная программа MDSD4Health предлагает страницу ресурсов, которая предоставляет соответствующую информацию в каждой из следующих областей:

  1. Справка по Python и Colab: Поскольку все упражнения MDSD4Health представлены на Python через блокноты Colab, MDSD4Health предлагает страницу, предназначенную для поддержки учащихся в использовании Python и Colab. На этой странице приведены объяснения Python (высокоуровневый язык программирования общего назначения) и Colab (бесплатная облачная среда для ноутбуков Jupyter в браузере), а также ссылки на различные ресурсы поддержки, включая руководство для начинающих. на Python, шпаргалка по Python, учебник по Colab и прямая ссылка на Stack Overflow для устранения неполадок.
  2. Сообщить о проблеме или предложить исправление: Чтобы обеспечить непрерывное совершенствование, MDSD4Health использует коллективные идеи своих учащихся посредством предлагаемых исправлений контента. Учащимся рекомендуется сообщать о проблемах и подозрениях в неточностях содержания через форму обратной связи (с помощью которой они также могут предложить или запросить включение дополнительного содержимого). Учащимся с опытом программирования на Python, которые считают, что есть лучший или более элегантный способ структурировать упражнение, также рекомендуется предлагать изменения через прямую ссылку на репозиторий MDSD4Health GitHub.
  3. Руководство по участию в Твиттере: MDSD4Health использует платформу социальных сетей, Твиттер, для облегчения обсуждения с помощью серии подсказок для размышлений в конце нескольких подмодулей. Учащимся предлагается по желанию участвовать в обсуждениях, относящихся к подмодулям, используя предоставленные хэштеги и отмечая учетную запись MDSD4Health в Твиттере. Чтобы учащиеся, желающие участвовать в Twitter, были готовы к этому, MDSD4Health предлагает Руководство по участию в Twitter, в котором содержится информация о том, как отмечать нас и как использовать хэштеги. Для новичков в Твиттере эта страница содержит ссылку на руководство Начало работы с Твиттером, разработанное и предлагаемое платформой Твиттера. Наконец, это руководство содержит ссылки на два тщательно подобранных списка Twitter, содержащих твиты от людей, которые могут быть интересны учащимся:
  • Разработчики MDSD: список пользователей Twitter, которые разработали или опубликовали предлагаемую модель или метод раскрытия набора данных (MDSD), который был представлен в MDSD4Health.
  • Источники контента MDSD4Health: список учетных записей Twitter для авторов и платформ, упомянутых в MDSD4Health.

Проверка и пересмотр учебной программы

Веб-сайт учебной программы MDSD4Health разрабатывался и неоднократно улучшался на основе отзывов и отзывов нескольких коллег и наставников, разбирающихся в машинном обучении, в том числе:

  • Вивиан Нейли, М.С. (руководитель проекта MDSD4Health и менеджер по продукту в Google Cloud)
  • Рамья Палачолла, доктор медицины, магистр здравоохранения (Директор программы магистра медицинской информатики и аналитики в Медицинской школе Университета Тафтса)
  • Вахаб Вахдатзад, к.т.н. РС. (Соруководитель курса «Введение в искусственный интеллект и большие данные в здравоохранении» в Медицинской школе Университета Тафтса)

Улучшения, внесенные в MDSD4Health на основе их отзывов, включают:

  • Добавление оценок времени выполнения в Руководство по обучению, чтобы помочь пользователям быстрее определить приблизительное время, необходимое для каждого раздела.
  • Добавление информации о том, как преподаватели среднего или высшего образования, которые преподают аналогичные или смежные материалы, связанные с прозрачностью методов ОД, могут включать материалы MDSD4Health в свои собственные учебные программы.
  • Создание списков в Твиттере, состоящих из пользователей, имеющих отношение к MDSD4Health, чтобы учащиеся могли следить за ними.
  • Разработка и включение варианта использования классификации, связанной со здоровьем, в дополнение к выделенному варианту использования в подмодуле 1.1.
  • Удаление расчетов искусственных нейронных сетей из основного содержания учебного плана в подмодуле 1.1 в связи с их сложностью и заменой в качестве «дополнительного материала»

Обсуждение

Предполагаемые результаты

Основная цель этой работы заключалась в разработке образовательного ресурса, который можно было бы использовать для обучения и изучения MDSD в контексте здоровья. Предполагаемый результат этой работы заключался в том, чтобы увеличить воздействие MDSD и их актуальность в контексте здравоохранения таким образом, чтобы это могло способствовать справедливому использованию, принятию и, в конечном итоге, стандартизации методов MDSD в контексте здравоохранения (например, что первоначально было предложено в работе Вивиан Neilley, на котором основан этот проект).

Следующие шаги

Второстепенная цель этой работы заключалась в том, чтобы определить возможности для других людей, заинтересованных в прозрачности модели машинного обучения в здравоохранении или общественном здравоохранении, чтобы они могли опираться на эту работу, как я сделал с первоначальным вкладом Вивиан. Таким образом, следующие шаги в этой работе заключаются в сборе отзывов пользователей веб-сайта для определения улучшений веб-сайта и учебных программ. Обратная связь будет собрана через форму обратной связи на веб-сайте и сохранена в качестве источника предложений через запросы на вытягивание на GitHub.

Заключение

Несмотря на то, что не существует отраслевых стандартов в контексте здравоохранения или иным образом для документирования рабочих характеристик обученных моделей машинного обучения, а также ограничений или методов, используемых при отборе и предварительной обработке наборов данных машинного обучения, было предложено несколько методов и средств раскрытия информации наряду с усилиями стандартизировать их [см. здесь, здесь, здесь, здесь и здесь]. Однако основным препятствием для этих усилий по стандартизации является отсутствие образовательных ресурсов о цели и ценности использования MDSD в контексте здравоохранения, а также ограниченное обучение для продвижения их использования. Разработав и предложив доступную бесплатную учебную программу MDSD для контекста здравоохранения, MDSD4Health, мы стремились восполнить этот пробел. Веб-сайт MDSD4Health работает и доступен для использования по адресу https://www.mdsd4health.com/.

Как вы можете принять участие

Все желающие могут просмотреть и критически оценить учебную программу MDSD4Health.

Если вы хотите предложить исправление, сообщить о неточности контента или запросить новые темы контента, сделайте это через нашу Форму обратной связи.

Если вы хотите пересмотреть наши упражнения, сделайте это с помощью запроса на вытягивание на GitHub.

Если вы хотите стать волонтером MDSD4Health, отправьте нам электронное письмо.

Благодарности

Эта работа была выполнена к частичному получению моей степени магистра наук в области медицинской информатики и аналитики в Медицинской школе Университета Тафтса в июле 2022 года. Этот проект был выполнен под руководством Вивиан Нейли, M.S. , в Google Cloud под руководством Рамии Палачоллы, доктора медицинских наук, магистра здравоохранения. в Медицинской школе Университета Тафтса.

Я безмерно благодарю Вивиан и Рамию за их поддержку на протяжении всего этого проекта, а также Вахаба Вахдатзада, доктора философии. РС. за вдумчивый отзыв о содержании и организации учебного плана.

Я также благодарю своих коллег по аспирантуре и однокурсников по программам магистра наук в области медицинской информатики и аналитики (MS-HIA) и магистра общественного здравоохранения (MPH) в Университете Тафтса за их постоянную поддержку и отзывы на всех этапах этого проекта.

Ссылки

Облако Google. Что такое машинное обучение? Облако Google. По состоянию на 5 июня 2022 г. https://cloud.google.com/learn/what-is-machine-learning

Джордан М.И., Митчелл ТМ. Машинное обучение: тренды, перспективы и перспективы. Наука. 2015;349(6245):255–260. дои: 10.1126/science.aaa8415

Мехраби Н., Морстаттер Ф., Саксена Н., Лерман К., Галстян А. Обзор предвзятости и справедливости в машинном обучении. Компьютерный обзор ACM. 2021;54(6):1–35. дои: 10.1145/3457607

Мхасаваде В., Чжао И., Чунара Р. Машинное обучение и алгоритмическая справедливость в общественном и популяционном здравоохранении. Нат Мах Интелл. 2021;3(8):659–666. дои: 10.1038/s42256–021–00373–4

Джанфранческо М.А., Таманг С., Яздани Дж., Шмаюк Г. Возможные ошибки в алгоритмах машинного обучения с использованием данных электронной медицинской карты. Стажер JAMA. 2018;178(11):1544. doi:10.1001/jamainternmed.2018.3763

Лечер К. Что происходит, когда алгоритм сокращает ваше здравоохранение? Грань. Опубликовано в Интернете 21 марта 2018 г. https://www.theverge.com/2018/3/21/17144260/healthcare-medicaid-algorithm-arkansas-cerebral-palsy

Райкомар А., Хардт М., Хауэлл М.Д., Коррадо Г., Чин М.Х. Обеспечение справедливости в машинном обучении для продвижения справедливости в отношении здоровья. Энн Интерн Мед. 2018;169(12):866. дои: 10.7326 / M18–1990

Obermeyer Z, Powers B, Vogeli C, Mullainathan S. Анализ расовых предубеждений в алгоритме, используемом для управления здоровьем населения. Наука. 2019;366(6464):447–453. doi:10.1126/science.aax2342

О'Рейли-Шах В.Н., Джентри К.Р., Уолтерс А.М., Зивот Дж., Андерсон К.Т., Тиге П.Дж. Предвзятость и этические соображения в машинном обучении и автоматизации оценки периоперационного риска. Br J Anaesth. 2020;125(6):843–846. doi:10.1016/j.bja.2020.07.040

Бим А.Л., Манраи А.К., Гассеми М. Проблемы воспроизводимости моделей машинного обучения в здравоохранении. ДЖАМА. 2020;323(4):305. дои: 10.1001/jama.2019.20866

Митчелл М., Ву С., Залдивар А. и др. Карточки моделей для отчетов о моделях. В: Материалы конференции по справедливости, подотчетности и прозрачности. АКМ; 2019: 220–229. дои: 10.1145/3287560.3287596

Гебру Т., Моргенштерн Дж., Веккионе Б. и др. Таблицы данных для наборов данных. Общий ACM. 2021;64(12):86–92. дои: 10.1145/3458723

Арнольд М., Беллами Р.К.Е., Хинд М. и др. Информационные бюллетени: повышение доверия к услугам ИИ с помощью деклараций о соответствии поставщиков. Опубликовано в Интернете в 2018 г. doi: 10.48550/ARXIV.1808.07261

Холланд С., Хосни А., Ньюман С., Джозеф Дж., Хмелински К. Маркировка набора данных о питании: основа для повышения стандартов качества данных. Опубликовано в Интернете в 2018 г. doi: 10.48550 / ARXIV.1805.03677.

Бендер Э.М., Фридман Б. Заявления о данных для обработки естественного языка: на пути к смягчению предвзятости системы и обеспечению лучшей науки. TACL. 2018; 6: 587–604. дои: 10.1162/tacl_a_00041

Обнимающее лицо. Создайте карточку набора данных. Обнимающее лицо. https://huggingface.co/docs/datasets/dataset_card

Хмелински К.С., Ньюман С., Тейлор М. и др. Этикетка набора данных о питании (2-е поколение): использование контекста для снижения вреда в искусственном интеллекте. Опубликовано в сети в 2022 г. doi: 10.48550/ARXIV.2201.03954

Коллинз Г.С., Рейтсма Дж.Б., Альтман Д.Г., Мунс КГМ. Прозрачная отчетность модели многомерного прогнозирования для индивидуального прогноза или диагноза (TRIPOD): заявление TRIPOD. Энн Интерн Мед. 2015;162(1):55–63. дои: 10.7326/M14–0697

Фонд HL7 FHIR. https://www.fhir.org/

Нейли В. Что здравоохранение должно узнать из метеорологии о важности R2O.; 2022. https://www.statnews.com/2022/03/31/what-health-care-must-learn-from-meteorology-about-the-importance-of-r2o/

Конрад Д., Хэнсон П.А., Хазенау С.М., Стокер-Шнайдер Дж. Выявление барьеров для использования стандартизированного сестринского языка в электронной медицинской карте практикующей медсестрой амбулаторного ухода. Журнал Американской академии практикующих медсестер. 2012;24(7):443–451. doi:10.1111/j.1745–7599.2012.00705.x

Фишер Ф., Ланге К., Клозе К., Грайнер В., Кремер А. Барьеры и стратегии в реализации рекомендаций — предварительный обзор. Здравоохранение. 2016;4(3):36. doi: 10.3390/здравоохранение4030036

Будущее общественного здравоохранения. Издательство национальных академий; 1988:1091. дои: 10.17226/1091

Шавит Э. MDSD4Health. MDSD4Здоровье. Опубликовано в июле 2022 г. https://www.mdsd4health.com/

Google. Сайты Google. https://sites.google.com/new

Журнал Американской медицинской ассоциации. Сеть ЯМА. https://jamanetwork.com/journals/jama

Грин Х, Грин Дж. Ускоренный курс. Ускоренный курс. https://thecrashcourse.com/

Обзор технологий Массачусетского технологического института. Обзор технологий Массачусетского технологического института. https://www.technologyreview.com/

Разработчики Google. Разработчики Google. https://developers.google.com/

Microsoft PowerPoint. Майкрософт. https://www.microsoft.com/en-us/microsoft-365/powerpoint

YouTube. Google. https://www.youtube.com/

Совместная работа. Google. https://colab.research.google.com/

Питон. Фонд Питона. https://www.python.org/

Юпитер. Проект Юпитер. https://jupyter.org/

Брюнгард Б. Кошки против собак? Давайте создадим искусственный интеллект, чтобы решить эту проблему: Crash Course Ai #19. Том 19. Цифровые студии PBS; 2019. https://www.youtube.com/watch?v=_DZJV9ey1nE&list=PL8dPuuaLjXtO65LeD2p4_Sb5XQ51par_b&index=21



Предложения по подаче заявок на Mlearning.ai
Как стать писателем на Mlearning.aimedium.com