Авторы Атли Коссон и Хенрик Марклунд

Находить кошек и собак на картинках с помощью глубокого обучения очень просто! Обнаружить опухоли и поражения в головном мозге с помощью глубокого обучения сложнее, но мы приближаемся к этому.

При планировании лечения и отслеживании прогрессирования различных заболеваний головного мозга важно точно определить пораженные участки. Рассмотрим случай опухолей головного мозга. Решая, проводить операцию или нет, очень важно точно знать, где находится опухоль. Если опухоль находится в какой-то области, которую нельзя удалить, не затрагивая при этом жизненно важные окружающие нормальные ткани, например, ствол мозга, вы не сможете оперировать. При лечении пациентов с рассеянным склерозом (РС) важно уметь определять местонахождение очагов поражения. Это позволяет врачам отслеживать прогрессирование заболевания и определять, работает ли лечение. Изображения магнитно-резонансной томографии (МРТ) можно использовать для визуализации мозга в 3D, но высокоспециализированный врач все равно должен просматривать полученные изображения и вручную отмечать пораженный объем. Это сложная и трудоемкая задача. Алгоритмы, которые могли бы хотя бы частично автоматизировать этот процесс, были бы очень ценными. Кроме того, это позволит создавать крупномасштабные наборы данных по опухолям и поражениям. Этих больших наборов данных в настоящее время нет, но они необходимы для исследования.

В этом посте мы подробно обсудим эту задачу сегментации и рассмотрим:

  • Проблема сегментации
  • Данные магнитно-резонансной томографии
  • Три задачи машинного обучения с сегментацией мозга
  • Задача сегментации опухоли головного мозга (BraTS)
  • Тематическое исследование сегментации поражения, достигаемой человеческими характеристиками

Проблема сегментации

В семантической сегментации мы хотим определить класс (тип объекта) каждого пикселя изображения. Рассмотрим изображение кошки ниже. В нем есть кошка, область с травой, деревья и небо в ней. Справа находится изображение, определяющее класс каждого пикселя.

Глубокие нейронные сети очень хорошо справляются с такой сегментацией. Архитектуры часто включают несколько сверточных слоев и слоев пула (подробности см. В Стэнфордском CS231n). Эти слои сжимают изображение в небольшое нейронное представление изображения. Это представление затем пропускается через серию слоев с повышающей дискретизацией или деконволюцией, пока мы не получим изображение того же размера, что и исходное изображение. Окончательное изображение имеет несколько каналов, по одному для каждого типа объекта, который мы можем классифицировать. Каждый канал указывает, присутствует ли объект, соответствующий каналу, в каждом месте изображения. Пример архитектуры Бадринараянан и др. (2015) можно увидеть ниже (изображение взято из их статьи).

Сегментация медицинских изображений сопряжена с некоторыми дополнительными проблемами. Основная проблема заключается в размере наборов данных для задачи, которые обычно очень малы (сотни) по сравнению с очень большими наборами данных более распространенных изображений (миллионы изображений). Это затрудняет обучение очень глубоких архитектур, поэтому архитектуры, используемые для задачи медицинской сегментации, обычно проще. Также гораздо сложнее определить класс каждого пикселя: эксперты-люди согласны только по 80% пикселей поражения. Даже при вскрытии будет сложно определить точную сегментацию достоверной информации. Кроме того, форма, размер и внешний вид опухолей и поражений могут широко варьироваться, и они могут иметь относительно «мягкие» границы по сравнению с объектами на традиционных изображениях. Наконец, изображения стали трехмерными.

MR изображения: что это такое?

Данные, используемые для сегментирования опухолей и поражений, взяты из МРТ изображений. Пациента вводят в туннель, который по сути представляет собой соленоид с сильным магнитным полем внутри. Это заставляет все протоны в теле выстраиваться так, чтобы их квантовый спин был одинаковым. Затем используется импульс колеблющегося магнитного поля, чтобы нарушить это выравнивание. Когда протоны возвращаются в состояние равновесия, они излучают электромагнитную волну. Волновые сигналы записываются, и с помощью ряда шагов можно собрать набор изображений (срезов) мозга. Различные виды тканей, например белое вещество (аксоны, более жирное) и серое вещество (тела нейронов и дендриты, менее жирные), имеют разный химический состав, что заставляет их излучать разные сигналы. Важно отметить, что в зависимости от типа стимуляции (то есть последовательности), используемой для разрушения протонов, будут получены разные изображения. Эти разные изображения будут чувствительны к разным видам тканей. Получаются четыре распространенных последовательности: T1, T1 с контрастом (T1C), T2 и FLAIR. Видео : Врач просматривает МРТ-изображения в поисках опухолей. Если вы хотите узнать больше, пожалуйста, ознакомьтесь с подробным сообщением нашей группы в блоге об изображениях MR

Три проблемы с изображениями мозга

Было показано, что хорошо настроенные глубокие архитектуры с десятками или сотнями уровней очень хорошо работают с большими наборами данных, такими как ImageNet. Наборы данных, доступные для задач сегментации мозга, кажутся слишком маленькими для обучения этим глубоким архитектурам. Большинство медицинских архитектур имеют всего несколько слоев, часто менее пяти. Увеличение данных используется, но часто ограничивается простым переворачиванием изображений. Помимо этого ограничения по размеру, мы обсудим еще три проблемы, связанные с сегментацией поражения и опухоли.

Задача 1. 3D-данные с интенсивным использованием памяти.

Из-за дополнительного измерения сверточные 3D-сети требуют большего объема памяти, чем 2D-сети. В трехмерной сверточной сети больше не только входное изображение, но и представления после каждого слоя в сети. Эти представления изображений необходимо кэшировать для обратного распространения, что потребляет большой объем памяти.

Поэтому объемы из МРТ-изображений редко используются непосредственно в качестве входных данных для модели машинного обучения. Вместо этого изображения нарезаются и разбиваются на части перед обучением. Цель состоит в том, чтобы сбалансировать компромисс между вычислительной эффективностью и использованием контекстной информации (близлежащие ткани предоставляют важную контекстную информацию). Есть много разных подходов:

  1. Создавайте 2D-срезы (очень часто).
  2. Тренируйтесь на меньших участках МРТ изображений.
  3. При классификации каждого пикселя извлеките участки 2–3 разных размеров, окружающие пиксель (Havaei et al., 2017).
  4. Двухпутные модели: учитывают локальную ткань вокруг вокселя (пиксель, но в 3D), а также принимают во внимание глобальный аспект местоположения (Havaei et al., 2017).
  5. Делайте выборки меньших трехмерных фрагментов и используйте трехмерную сверточную сеть (Камницас и др.).

В приведенной ниже модели используются подходы 1, 2 и 4.

Текущая тенденция состоит в том, чтобы меньше выполнять предварительную обработку и одновременно вводить больше данных. Похоже, это следствие растущего размера наборов данных и общей тенденции в глубоком обучении.

Задача 2. Сглаживание воксельных прогнозов

Большинство моделей сегментации мозга работают с небольшими областями одновременно, и прогноз для каждого пикселя делается независимо от прогнозов для соседних пикселей. Такая модель не учитывает отношения между соседними пикселями, например, наличие отдельного здорового пикселя в середине опухоли очень маловероятно. Мы можем использовать методы постобработки, чтобы сгладить вывод модели.

  1. Условные случайные поля (CRF) - это вероятностные графические модели, которые моделируют условное распределение вероятностей для некоторых выходных данных при заданных входных данных (см. Рисунок выше). При сегментации мозга входными данными являются распределения прогнозов для каждого пикселя. Результатом является присвоенная метка для каждого пикселя. CRF фиксирует вероятность каждой возможной комбинации назначений выходным пикселям. Он разбивает совместное распределение вероятностей на факторы, которые моделируют совместное распределение выходного пикселя, соседних выходных пикселей и соответствующее входное распределение. Мы можем выполнить оценку максимального правдоподобия, чтобы найти наиболее вероятную конфигурацию выходных узлов с учетом входных данных.
  2. Используйте пиксельные вероятности в качестве входных данных для второй нейронной сети. Эта сеть обычно представляет собой неглубокую сверточную сеть. В других областях RNN в значительной степени заменили CRF, но они, похоже, не используются для сегментации мозга, возможно, потому, что они могут быть склонны к переобучению на относительно небольших доступных наборах данных.

С более крупными входными патчами и более глубокими моделями воспринимающее поле, используемое для классификации каждого пикселя, становится больше (см. Обсуждение в Гарсиа-Гарсия). Это делает входные данные для двух соседних пикселей более похожими, чем для меньших воспринимающих полей. Это, в свою очередь, снижает вероятность неправильной маркировки отдельных пикселей и, следовательно, необходимость такой постобработки.

Проблема 3. Отсутствуют данные

Дополнительная проблема - отсутствие одной из последовательностей. В разных больницах могут быть разные практики и разные процедуры при выполнении МРТ или других процедур. Например, может отсутствовать метод FLAIR, который обладает полезными контрастными свойствами для поиска поражений. Было предложено несколько методов:

  1. Создайте несколько моделей, обученных на разных последовательностях (например, одну модель специально для T1 и FLAIR в сочетании).
  2. Вмените недостающие данные. Прогнозируйте недостающие данные на основе имеющихся данных (требуется обучение модели для каждой комбинации модальности).
  3. Постройте одну модель, которая принимает произвольное количество последовательностей. Havaei et al (2016) делают это с помощью сверточного конвейера для каждой последовательности. Карты характеристик из каждой модальности затем объединяются путем вычисления среднего значения и дисперсии. Каждый конвейер учится отдельно отображать каждую модальность во встраивание, общее для всех модальностей. Ключевая идея состоит в том, что математическое ожидание среднего и дисперсии не зависит от количества терминов (модальностей). Таким образом, наличие большего количества доступных модальностей или последовательностей позволяет нам лучше оценить эту статистику, но отсутствие одной модальности не приведет к полному отказу от модели.

BraTS Challenge

При обучении алгоритмов машинного обучения данные имеют решающее значение, как и их понимание. Теперь мы более подробно рассмотрим общий набор данных, используемый при сегментации опухолей головного мозга: набор данных BraTS Challenge 2015 (Brain Tumor Segmentation Challenge).

Размер набора данных: 220 субъектов с опухолями высокой степени злокачественности. 54 пациента с опухолями низкой степени злокачественности.

Исходные данные: для каждого объекта нам дается четыре МРТ-изображения, то есть четыре трехмерных объема (FLAIR, T1W, T1C и T2).

Ярлыки: каждый пример был сегментирован и помечен 5 оценщиками (сертифицированными врачами). Каждый воксель помечен: (1) здоровый, (2) отек, (3) некроз, (4) неусиливающая опухоль, (5) усиливающая опухоль.

Затем задача машинного обучения состоит в том, чтобы пометить каждый воксель одной из этих 5 меток.

Оценка BraTS

При сравнении производительности в задаче BRATS оценка основана на трех различных комбинациях ярлыков: полная, основная и улучшающая. Вы тренируете свой алгоритм на всех пяти метках, но когда вы оцениваете, вы оцениваете, как если бы это были три разные задачи двоичной классификации. Например, категория завершено включает всю затронутую область. Чтобы добиться хороших результатов в этой категории, не имеет значения, например, путает ли ваш алгоритм некроз с отеком.

Счет в кости

Из-за огромного дисбаланса классов обычный показатель точности не говорит о многом. Таким образом, для каждой категории используется общая оценка F1 (в литературе известная как оценка в кости). Он измеряет перекрытие между ручной сегментацией (сочетание мнения экспертов-оценщиков: объединенная оценка) и сегментацией машинного обучения.

1 балл в кости указывает на полное согласие с консенсусной оценкой экспертов.

Практический пример: Глубокие сверточные нейронные сети, чувствительные к местоположению, для сегментации гиперинтенсивности белого вещества

Полезная задача - увидеть весь процесс, от предварительной обработки данных до проектирования архитектуры и конечной производительности. Мы выполним этот процесс, просмотрев статью Ghafoorian et al. по сегментации поражений головного мозга . Эта статья интересна тем, что они разрабатывают нейронную архитектуру, которая почти достигает человеческих возможностей при сегментации поражений белого вещества при рассеянном склерозе, болезни Альцгеймера и подобных заболеваниях.

Данные
Всего 378 обучающих изображений, 42 изображения для разработчиков и 50 независимых тестовых изображений (каждое с двумя модальностями: T1 и FLAIR). Все наборы были сегментированы экспертом-человеком, создавшим «основную истину» (повреждение / не повреждение). Набор независимых тестов был также аннотирован вторым экспертом.

Предварительная обработка
Два режима визуализации были пространственно выровнены. Удалили другие структуры, не относящиеся к головному мозгу (череп, глаза и т. Д.). Была применена коррекция поля смещения, и интенсивность изображения для каждого пациента была нормализована до диапазона от 0 до 1.

Входные данные
Модель работает с 2D-срезами. При классификации каждого пикселя извлекаются участки трех разных размеров (32 × 32, 64 × 64 и 128 × 128), окружающие пиксель. Каждый патч имеет два канала (T1 и FLAIR). Патчи большего размера субдискретизируются до 32 × 32.

Модель

Модель включает в себя три заплатки. Затем каждый патч обрабатывается серией сверточных слоев (с идентичной структурой для каждого патча). Затем результаты объединяются в полностью связанный слой. К этому полностью связанному слою добавляются дополнительные пространственные объекты. Это трехмерное местоположение целевого пикселя, расстояние в плоскости до левого желудочка, правого желудочка и коры головного мозга, расстояние до срединно-сагиттальной поверхности мозга и, наконец, априорная вероятность поражения в этом месте. Это передается на другой полностью связанный уровень, а затем, наконец, в двоичный классификатор. Все нелинейности - это ReLU.

Обучение
Поскольку нормальные пиксели, не являющиеся очагами поражения (отрицательные образцы), встречаются гораздо чаще, пиксели поражения (положительные образцы) подвергаются избыточной дискретизации во время обучения. Таким образом, около 50% тренировочных участков будут соответствовать поражению. Чтобы предотвратить переоснащение, они применяют регуляризацию выпадения к полностью связанным слоям. Вероятность отсева - 0,3.

Производительность
Модель набрала 0,795 балла Dice на тестовом наборе, что очень близко к баллу другого эксперта-человека - 0,805. Таким образом, разница в оценках между моделью и экспертом близка к разнице в оценках двух экспертов-людей.

Последние мысли

Семантическая сегментация посредством глубокого обучения явно имеет большой потенциал в неврологии и нейрохирургии. Это позволит нам диагностировать различные заболевания головного мозга и отслеживать их прогрессирование, что необходимо для эффективного лечения. Кроме того, автоматическая сегментация позволит нам создавать большие наборы данных МР-изображений, сегментированных по опухолям, поражениям и т. Д. Эти большие наборы данных помогут нам глубже исследовать эти заболевания, изучая, например, прогрессирование опухолей с течением времени или для использования в клинических испытаниях. Это потенциально может привести к появлению новых лекарств и методов лечения. Это часть более масштабной трансформации здравоохранения с помощью ИИ, которая сделает здравоохранение более разумным, эффективным и доступным.

Благодарности

Мы чрезвычайно благодарны Мэтью Лунгрену, доктору медицинских наук, доценту радиологии, и Бхавику Пателю, доктору медицины, MBA, доценту радиологии Медицинского центра Стэнфордского университета за ценные отзывы. Мы также хотим поблагодарить Пранава Раджпуркара, Джереми Ирвина, Криса Лин и Джессику Ветстоун из Stanford ML Group и Кристофера Бакнелла, студента машинного обучения в Стэнфорде, за их комментарии.

использованная литература

Бадринараян В., Кендалл А. и Чиполла Р. (2015). Segnet: архитектура глубокого сверточного кодировщика-декодера для сегментации изображений. Препринт arXiv arXiv: 1511.00561.

Брош, Т., Тан, Л. Ю., Ю, Ю., Ли, Д. К., Трабулзее, А., и Там, Р. (2016). Сети глубоких трехмерных сверточных кодеров с ярлыками для многомасштабной интеграции функций, применяемых для сегментации очагов рассеянного склероза. Труды IEEE по медицинской визуализации, 35 (5), 1229–1239.

CS228, Вероятностные графические модели, конспекты лекций по условным случайным полям (CRF), https://ermongroup.github.io/cs228-notes/presentation/undirected/

Менце, Б. Х., Якаб, А., Бауэр, С., Калпати-Крамер, Дж., Фарахани, К., Кирби, Дж.,… И Ланци, Л. (2015). Тест мультимодальной сегментации изображения опухоли головного мозга (BRATS). Транзакции IEEE по медицинской визуализации, 34 (10), 1993–2024 http://ieeexplore.ieee.org/document/6975210/

Хаваи, М., Гизард, Н., Чападос, Н., и Бенжио, Ю. (2016, октябрь). HeMIS: Гетеромодальная сегментация изображений. В Международной конференции по медицинской обработке изображений и компьютерному вмешательству (стр. 469–477). Издательство Springer International.

Хаваи, М., Дэви, А., Вард-Фарли, Д., Биар, А., Курвиль, А., Бенжио, Ю.,… и Ларошель, Х. (2017). Сегментация опухоли головного мозга с помощью глубоких нейронных сетей. Анализ медицинских изображений, 35, 18–31.

Камницас, К., Ледиг, К., Ньюкомб, В. Ф., Симпсон, Дж. П., Кейн, А. Д., Менон, Д. К.,… и Глокер, Б. (2017). Эффективная многомасштабная 3D CNN с полностью подключенным CRF для точной сегментации поражения головного мозга. Анализ медицинских изображений, 36, 61–78.

Гарсия-Гарсия, А., Ортс-Эсколано, С., Опреа, С., Виллена-Мартинес, В., и Гарсия-Родригес, Дж. (2017). Обзор методов глубокого обучения, применяемых к семантической сегментации. Препринт arXiv arXiv: 1704.06857.

Гафурян, М., Карсемейер, Н., Хескес, Т., ван Уден, И., Санчес, К., Литенс, Г.,… и Платель, Б. (2016). Глубокие сверточные нейронные сети, чувствительные к местоположению, для сегментации гиперинтенсивности белого вещества. Препринт arXiv arXiv: 1610.04834.

Перейра, С., Пинто, А., Алвес, В., и Сильва, К. А. (2016). Сегментация опухоли головного мозга с использованием сверточных нейронных сетей на МРТ-изображениях. Транзакции IEEE по медицинской визуализации, 35 (5), 1240–1251.