Доктор Айелет Бен-Сассон *, доктор Эли Бен-Сассон **, Кайла Джейкобс **, Элишева Ротман Аргаман **, Иден Сайг ** (* Хайфский университет, ** Технион)

В этой статье обобщается доклад, который будет представлен на CHI 2019 во вторник, 7 мая 2019 г., в 11:00 в секции Дети и здоровье.

Методы машинного обучения для автоматизации многочисленны и мощны, но важно оценить, можно ли и как их правильно использовать. Здесь мы исследуем наши оценки готовности к автоматизации в приложении для отслеживания вех ребенка, которое в настоящее время полагается на экспертов-людей, с уроками для любых проектов, предполагающих интеграцию автоматизации с высокими требованиями к точности классификации.

История вопроса: почему важно отслеживать развитие детей и решение babyTRACKS

Каждый шестой ребенок имеет задержку в развитии, которая мешает достижению важнейших жизненных навыков моторных, языковых, когнитивных и / или социально-эмоциональных способностей. Скрининг развития детей в раннем возрасте имеет решающее значение для своевременного выявления и вмешательства, что приводит к лучшим результатам для детей и их семей. Проблема особенно остро стоит в социально-экономически неблагополучных общинах, где регулярный доступ к здравоохранению ограничен, но даже в странах с адекватными медицинскими ресурсами 70% детей с задержкой в ​​развитии диагностируются поздно.

Чтобы родители могли лучше сотрудничать со специалистами в области здравоохранения для наблюдения за развитием своих детей, мы создали babyTRACKS, бесплатное интерактивное приложение для отслеживания развития (доступно в Apple App Store и Google Play). ) с более чем 3000 детей с 2015 года. Родители пишут или выбирают короткие тексты, например начал делать первые шаги, чтобы записать достижения своих детей в развитии, и получают процентили на основе толпы для оценки развития и выявления потенциальных задержек.

Масштабирование Curated Crowd Intelligence (CCI)

За кулисами в babyTRACKS, основанный на экспертах процесс Curated Crowd Intelligence (CCI) вручную группирует входящие новые тексты вех, написанные родителями, в соответствии с их сходством с существующими вехами в базе данных (например, «начало ходьбы») или определяя, что Веха представляет собой новую концепцию развития, которую раньше не видели в дневнике другого ребенка.

Чтобы помочь CCI масштабироваться, мы хотим использовать машинное обучение для автоматизации части или всего текущего ручного процесса. Мы отступили, чтобы оценить нашу готовность к автоматизации с помощью трех исследований:

(1) ограничения масштабируемости нашего процесса CCI, путем анализа человеческих затрат на CCI, того, как в настоящее время разбивается работа и какие области созрели (и не являются) для автоматизации.

(2) согласованность нашего набора данных путем тестирования надежности кураторов между экспертами и, следовательно, достоверности наших контрольных данных для алгоритмического обучения и оценки; и

(3) ценность набора данных, оценивая «реальную» клиническую ценность основных этапов при оценке развития ребенка.

Мы пришли к выводу, что автоматизация действительно может быть уместной и полезной для большого процента, но не для всей работы CCI. Далее мы устанавливаем реалистичные верхние границы производительности алгоритма; подтвердить, что набор данных о вехах babyTRACKS действителен для целей обучения и тестирования; и убедитесь, что он представляет собой клинически значимую информацию о развитии.

Извлеченные уроки до автоматизации

Наша работа иллюстрирует несколько важных тестов, которые нужно проверить перед погружением в разработку алгоритма машинного обучения для автоматизации существующего ручного процесса (конечно, адаптированного к технической специфике задачи):

  • Оцените, насколько автоматизация действительно может помочь
  • Установите цель для производительности алгоритма на основе наилучшего человеческого согласия, чтобы знать, к чему стремиться (может быть менее 100%).
  • Убедитесь, что ваш золотой стандарт набора данных для обучения / аттестации действительно действителен и имеет смысл.
  • Помните, что автоматизация не обязательно должна быть "все или ничего": алгоритмы могут помочь людям (например, за счет сужения вариантов), существенно ускоряя ручные задачи, даже если они не могут полностью заменить людей.

Узнать больше

Цитата:

Айелет Бен-Сассон, Эли Бен-Сассон, Кайла Джейкобс, Элишева Ротман Аргаман, Иден Сайг. 2019. Оценка экспертного куратора в приложении для отслеживания детских вех. В материалах конференции CHI 2019 по человеческому фактору в вычислительных системах (CHI ‘19). ACM, Нью-Йорк, Нью-Йорк, США, Paper 553, 12 страниц. DOI: 10.1145 / 3290605.3300783