Обучение представлению, обогащенному семантикой, посредством самопознания, самоклассификации и…

Получите лучшие результаты на ограниченных наборах данных медицинских изображений с помощью новой техники трансферного обучения для предварительной подготовки модели глубокого обучения.

Одной из основных проблем, связанных с применением моделей машинного обучения и глубокого обучения к задачам медицинской визуализации, является недостаток данных для обучения модели. Ручное создание и маркировка медицинских изображений требует больших затрат и времени, поскольку для правильного понимания и маркировки медицинских изображений необходимы высококвалифицированные специалисты. Чтобы противостоять проблеме нехватки данных в компьютерном зрении, обычно используются методы трансферного обучения, такие как предварительное обучение и точная настройка, когда модель сначала обучается с данными в другой области (обычно такой, где доступно много обучающих данных) и эта предварительно обученная модель затем настраивается для области, имеющей несколько помеченных данных. В случае, когда доступно много неразмеченных данных, обычно используются методы обучения с самоконтролем, которые используют полезную информацию из обучающих данных для предварительного обучения модели на этих неразмеченных изображениях. Чтобы узнать больше о том, чем обучение с самоконтролем отличается от других парадигм обучения, обратитесь к этой статье Луи Бушара.

Важным шагом в любом самоконтролируемом алгоритме обучения является определение сигналов обучения и свойств данных, которые можно использовать для модели. обучение. Когда данные представляют собой изображение, для предварительной подготовки модели на немаркированных данных используются такие методы, как раскрашивание[1,2], сборка мозаики[3,4], вращение[5,6] и многие другие. Методы раскрашивания обычно пытаются предсказать цветовые свойства изображения по его полутоновому аналогу. Методы Jigsaw повреждают изображение и обучают сеть восстанавливать исходное изображение. Методы вращения пытаются предсказать вращение изображения.

Хотя эти методы с самоконтролем хорошо работают с естественными изображениями, они не являются самыми оптимальными методами для предварительного обучения на медицинских наборах данных. Медицинские данные содержат повторяющиеся анатомические шаблоны, которые также можно использовать в качестве обучающего сигнала для предварительной подготовки модели. В этой бумаге [8] представлен метод предварительной подготовки с самоконтролем, который использует повторяющиеся шаблоны в медицинском изображении для изучения предварительно обученных моделей, которые лучше подходят для различных задач медицинской визуализации. На рис. 1 показан пример повторяющихся паттернов на медицинских изображениях.

Техника самоконтроля для использования повторяющихся анатомических паттернов в этой статье [8] включает три этапа, а именно — самообнаружение анатомических паттернов у аналогичных пациентов, самостоятельная классификация изученных анатомических паттернов. ,и самостоятельное восстановление преобразованных паттернов. Модель в целом называется Семантический генезис. Простое использование модуля самовосстановления без самоклассификации и самопознания является одной из более ранних статей той же исследовательской группы и называется Models Genesis[7].

Модуль самоклассификации помогает модели изучить семантику изображения, а самовосстановление помогает модели изучить визуальные свойства данных, таких как внешний вид, текстура, геометрия. и т. д. Далее мы рассмотрим каждый из этих шагов.

Самообнаружение. Целью этого шага является определение повторяющихся анатомических паттернов на немаркированных изображениях. Это в основном состоит из 3 шагов —

Обучите автоэнкодер с немаркированными изображениями. Чтобы узнать больше об автокодировщиках, обратитесь к этой подробной статье, написанной Мэттью Стюартом. Скрытое представление изображения используется в качестве идентификатора изображения, что означает, что для будущих шагов мы используем изученное скрытое представление изображения вместо исходного изображения.
Произвольно выберите эталонное изображение, а затем найдите k изображений, ближайших к эталону в скрытом пространстве (расстояние измеряется на скрытом представлении изображения, а не на исходном изображении). Примечание.k — это гиперпараметр, и выбор значений, используемых в статье, обсуждается в разделе «Эксперименты».
Выберите n случайных точек на всех этих похожих изображениях и обрежьте участок. Назначьте патчу псевдометки. Эти патчи содержат повторяющиеся шаблоны в аналогичных изображениях, обнаруженных на шаге 2. Количество патчей и, следовательно, псевдометок (C) является еще одним гиперпараметром, и значения, используемые в статье, упоминаются в разделе «Эксперименты».

В конце процесса самообнаружения у нас есть коллекция участков с присвоенными им псевдометками, которые, возможно, фиксируют некоторые полезные анатомические паттерны в каждом из участков. На рис. 2 показан полный процесс самообнаружения.

Самоклассификация —на этом этапеиспользуются помеченные фрагменты, полученные после этапа самообнаружения, для обучения многоклассового классификатора правильному прогнозированию псевдометок. Классификатор имеет сеть, подобную кодировщику, за которой следует полносвязный слой. Кодер используется совместно с этапом самовосстановления, обсуждаемым далее. Идея состоит в том, что, обучая классификатор предсказывать правильные псевдометки повторяющихся анатомических паттернов, обнаруженных на этапе самообнаружения, изученные веса модели хранят информацию об этих семантических структурах в изображении.

Самовосстановление — на этом шаге изображение сначала изменяется с помощью определенных преобразований (преобразования будут обсуждаться позже), а затем предпринимается попытка восстановить исходное изображение из преобразованного изображения с использованием сети кодер-декодер. Обучение модели восстановлению исходного изображения помогает в изучении различных визуальных представлений.

Кодировщик тот же, что и на этапе самоклассификации. Сети самоклассификации и самовосстановления обучаются вместе в формате многозадачного обучения. На рис. 3 показаны модули самоклассификации и самовосстановления.

Визуальные свойства, полученные моделью, зависят от типа преобразований, выполненных с изображением перед восстановлением. В статье обсуждается 4 типа преобразований — нелинейное, локальное перетасовка пикселей, отрисовка и отрисовка внутри.

Изучение внешнего вида с помощью нелинейных преобразований — в этой статье используется кривая Безье (видео объяснение) в качестве нелинейного преобразования, которое присваивает уникальное значение каждому пикселю. . Восстановление исходного изображения сообщает сети о внешнем виде органа, поскольку значения интенсивности на медицинских изображениях дают представление о структуре органа.

Изучение локальных границ и текстуры с помощью перемешивания локальных пикселей. Перетасовка локальных пикселей включает в себя перетасовку порядка пикселей в случайно выбранном окне из патча для получения преобразованного патча. Размер окна выбирается таким, чтобы глобальное содержимое изображения не менялось. Восстановление из этого преобразования запоминает локальные границы и текстуру изображения.

Изучение контекста с помощью отрисовки вне и отрисовки — как при отрисовке, так и при отрисовке, одно одно окно сложной формы получается путем наложения окон разных размеров и пропорций друг на друга.

Закрашивание — назначает случайные пиксели за пределами окна, сохраняя исходную интенсивность для пикселей внутри. При восстановлении из перекрашивания изучается глобальная геометрия и пространственное расположение.

In-painting: сохраняет исходную интенсивность за пределами окна и заменяет значения интенсивности внутренних пикселей. Локальные преемственности органов изучаются в процессе реставрации по нарисованному изображению.

На рис. 4 показана визуализация каждого из этих преобразований, примененных к КТ-изображению.

Обучение. Вся модель, включающая самоклассификацию и модуль самовосстановления, обучается вместе в парадигме многозадачного обучения. По сути, это означает, что функция потерь, используемая для обучения всей модели, представляет собой взвешенную сумму функций потерь модуля самоклассификации (категориальная кросс-энтропийная потеря) и самовосстановления (реконструкция потери). Вес отдельных функций потерь — это гиперпараметр, полученный эмпирическим путем.

Точная настройка и повторное использование модели. После обучения модели с помощью самообнаружения, самоклассификации и самовосстановления можно повторно использовать и настраивать различные компоненты модели для целевой предметной области. Для задач классификации изображений повторно используется кодировщик модели. Для задач сегментации изображения повторно используются как кодировщик, так и декодер.

Эксперименты

Модель обучается на двух разных наборах данных на основе модальностей целевого изображения. Общедоступные КТ-сканы используются для модальностей трехмерного изображения, а рентгеновские снимки используются для модальностей двухмерного изображения.

Обучающие наборы данных — LUNA 2016[9] (Международная лицензия Creative Commons Attribution 4.0), состоящие из 623 КТ и Рентген грудной клетки 14[10] (CC0: Public Domain ), состоящий из 75 708 рентгеновских изображений, используется для обучения модели Semantic Genesis.

Гиперпараметры —

Для самостоятельного обнаружения выбираются k лучших похожих пациентов. k эмпирически устанавливается равным 200/1000 для случаев 2D/3D.
C (количество псевдометок) установлено на 44/100 для 3D/2D изображений, чтобы покрыть все изображение, избегая перекрытия.

Исходные данные. Во всех экспериментах модели оцениваются с помощью шести общедоступных приложений для обработки медицинских изображений с точки зрения классификации и сегментации. На рис. 5 показаны различные задачи, используемые для оценки моделей.

Наборы данных для оценки/тонкой настройки —LUNA-2016[9](Международная лицензия Creative Commons Attribution 4.0), LIDC-IDRI[16](Неперенесенная лицензия Creative Commons Attribution 3.0), LiTS-2017[17](Attribution-NonCommercial-NoDerivatives 4.0 International), BraTS2018[18], ChestX-Ray14[10](CC0: Public Domain), SIIM-ACR-2019 [19]

Предварительно обученные 3D-модели для трехмерного обучения — NiftyNet[11], MedicalNet[12], Models Genesis[7], Inflated 3D[13].

Предварительно обученное самоконтролируемое обучение — рисование изображений[14], перетасовка патчей[15], создание моделей[7].

Полученные результаты

Добавление самоклассификации и самовосстановления к существующим методам обучения с самоконтролем

На рис. 6 сравниваются результаты добавления семантики (самовосстановление + самоклассификация) к существующим методам обучения с самоконтролем Inpainting[14], Patch Shuffling[15] и Models Genesis[7]. Примечание. Models Genesis — это статья той же исследовательской группы, которая включает только модуль самовосстановления без модуля самообнаружения и самоклассификации.

Эксперименты проводятся в трех различных областях (NCC — классификация легочных узлов на КТ-изображениях, LCS — сегментация печени на КТ-изображениях, BMS — сегментация опухоли головного мозга на МРТ-изображениях). Добавление семантики к существующим методам обучения с самоконтролем приводит к улучшениям в этих трех областях.

2. Сравнение Semantic Genesis 3D с предварительно обученными 3D-моделями. В этом эксперименте семантическое генезис сравнивается с другими предварительно обученными (контролируемыми и самоконтролируемыми) 3D-моделями. Результаты (рис. 7) оцениваются по 4 из 6 задач, связанных с 3D-изображениями (изображениями КТ и МРТ).

3. Сравнение модуля самоклассификации и самовосстановления — Самовосстановление и самоклассификация сравниваются по отдельности с комбинированными методами семантического генезиса. Результаты (рис. 7) показывают два важных вывода. Во-первых, комбинация самовосстановления и самоклассификации превосходит отдельные компоненты в трех из четырех разных задач. Во-вторых, самоклассификация показывает лучшую производительность в некоторых задачах, а самовосстановление лучше в других задачах, показывая, что они изучают дополнительные функции, и их объединение приводит к изучению дополнительных функций, чем использование каждой из них по отдельности.

4. Semantic Genesis 3D по сравнению с подходами, основанными на 2D-срезах. Часто задачи в модальностях 3D-визуализации переформулируются и решаются в 2D. В этом эксперименте Semantic Genesis 3D сравнивается с подходами на основе 2D-срезов. Результаты оцениваются в двух режимах 3D-изображения (NCC — обнаружение легочных узлов на КТ, NCS — сегментация легочных узлов на КТ-изображениях). Результаты (первые два результата на рис. 8) показывают, что Semantic Genesis 3D превосходит другие подходы на основе 2D-срезов.

5. Сравнение Semantic Genesis 2D с другими предварительно обученными 2D-моделями — сравнение проводится на двух задачах медицинской визуализации (PXS — сегментация пневмоторакса на рентгеновских изображениях, DXC — Классификация заболеваний грудной клетки на рентгеновских изображениях), включая двухмерные рентгеновские изображения и две задачи трехмерной медицинской визуализации (NCC и NCS). Результаты (рис. 8) показывают, что Semantic genesis превосходит PXS и имеет эквивалентную производительность ImageNet в NCC и NCS.

Заключение

В этом документе представлены модель и алгоритм обучения для изучения лучших представлений и лучших предварительно обученных моделей для задач медицинской визуализации, которые можно точно настроить для различных областей медицинских изображений, чтобы противостоять проблеме нехватки данных в задачах медицинских приложений. В статье разработана модель для использования повторяющихся анатомических паттернов в медицинских изображениях и их использования в парадигме обучения с самоконтролем. Я считаю, что идея и результаты очень многообещающие и могут быть использованы в качестве метода предварительной подготовки для задач медицинской классификации/сегментации, хотя реализация требует больше времени и сложности по сравнению с общедоступными предварительно обученными весами нетто изображений.

Вы можете найти официальную реализацию документа на GitHub по следующему URL-адресу — https://github.com/fhaghighi/SemanticGenesis.

Я надеюсь, что вы найдете эту статью полезной и познавательной. Вы можете найти другие рефераты, которые я написал здесь и здесь.

Пожалуйста, подпишитесь на мой профиль, чтобы получать уведомления о моих будущих статьях.

Обучение представлению, обогащенному семантикой, посредством самопознания, самоклассификации и…

Эксперименты

Полученные результаты

Заключение

Рекомендации

Вопросы по теме