Вступление

Глиомы - наиболее распространенные и агрессивные злокачественные опухоли головного мозга, возникающие в глиальных клетках центральной нервной системы. Основываясь на их агрессивности, их можно разделить на две категории, а именно. Глиома высокой степени злокачественности или мультиформная глиобластома (HGG / GBM) и глиома низкой степени злокачественности (LGG). Основываясь на гистологической гетерогенности, наблюдаемой в опухоли глиомы, ее клетки делятся на три различных субрегиона: перитуморальный отек (Edema), некротическое ядро ​​(NCR), усиливающее и неусиливающее ядро ​​опухоли (ET / NET). Эти субрегионы отражают важную и клинически значимую информацию.

Магнитно-резонансная томография (МРТ) широко использовалась в течение последних нескольких десятилетий для диагностики аномалий головного мозга и нервной системы; в основном из-за улучшенного контраста мягких тканей. Обычно последовательности MR включают в себя T1, T1 с усилением контраста (T1C), T2 и T2 с восстановлением инверсии с ослаблением жидкости (FLAIR). Обоснование использования всех четырех последовательностей заключается в том, что разные области опухоли становятся более заметными в разных последовательностях; тем самым позволяя более точно определить границы опухоли, как показано на рис. 1.

Точное разграничение / сегментация областей опухоли в последовательностях МРТ имеет большое значение, поскольку позволяет: i) объемное измерение опухоли, ii) мониторинг роста опухоли у пациентов между несколькими сканированиями МРТ, в течение периода лечения и iii) планирование лечения с последующим- оценка, включая прогноз общей выживаемости (ОС). Ручная сегментация опухолей с помощью МРТ - очень утомительная, трудоемкая и подверженная ошибкам задача, в основном из-за таких факторов, как усталость человека, переизбыток срезов МРТ на пациента и растущее число пациентов. Такие ручные операции часто приводят к неточному разграничению. Таким образом, становится очевидной потребность в автоматизированной или полуавтоматической компьютерной диагностике. Большая пространственная и структурная изменчивость опухолей головного мозга делает автоматическую сегментацию сложной задачей. Различная сегментация HGG и LGG по одной и той же модели также является сложной задачей.

2. Глубокое обучение для сегментации опухолей головного мозга

Недавно было показано, что глубокие сверточные нейронные сети (CNN или ConvNets) впечатляюще работают над проблемами распознавания или классификации изображений. Вдохновленные успехом сверточных нейронных сетей (ConvNets), мы разрабатываем новую модель многоплоскостной ConvNet с пространственным объединением под названием MPS-CNN, как показано на рисунке 2. Это может сохранить информацию о краях во время автоматической сегментации глиом из многопоследовательных данных МРТ с использованием слоев Spatial-max-pooling и unpooling.

2.1 Архитектура MPS-CNN

МРТ-сканирование является объемным и может быть представлено в трех измерениях с использованием мультипланарного представления в осевой (оси X-Z), коронарной (оси Y-X) и сагиттальной (оси Y-Z) плоскостях. Воспользовавшись этим свойством множественного просмотра, мы предлагаем модель сегментации на основе глубокого обучения, которая использует три отдельные структуры CNN для сегментации опухоли по трем отдельным плоскостям на уровне среза. Затем они объединяются, используя консенсусную стратегию слияния, чтобы произвести окончательную объемную сегментацию опухоли и ее подобластей. Замечено, что интегрированное прогнозирование из нескольких плоскостей превосходит с точки зрения точности и устойчивости решения по сравнению с оценкой, основанной на любой отдельной плоскости. Возможно, это из-за использования большего количества информации при минимизации потерь.

Архитектура ConvNet, используемая для сегментированной сегментации по каждой плоскости, представляет собой сеть типа кодер-декодер. Кодировщик или сжатый путь использует слои объединения для уменьшения разрешения изображения до набора высокоуровневых функций, за которым следует декодер или расширяющаяся часть, которая использует информацию о характеристиках для построения маски сегментации по пикселям. Основная проблема с этим типом сети заключается в том, что во время понижающей дискретизации или операции объединения сеть теряет пространственную информацию. Затем повышающая дискретизация в сети декодера пытается аппроксимировать это посредством интерполяции. Это приводит к ошибке сегментации вокруг границы области интереса (ROI) или объема интереса (VOI). Это серьезный недостаток сегментации медицинских изображений, где точное разграничение имеет первостепенное значение.

Чтобы обойти эту проблему, мы вводим элитный уровень пространственного максимума-пула, который может сохранять максимальное количество местоположений, которые впоследствии будут использоваться во время распула через слой пространственного максимума-распула. Процедура проиллюстрирована на рис. 2. Мы также включаем быстрые соединения для копирования и объединения принимающих полей (после блока свертки) из кодера в часть декодера, чтобы помочь сети декодера локализовать и восстановить детали объекта более эффективно. Эти соединения позволяют сети одновременно включать высокоуровневые функции с деталями на уровне пикселей. Вся архитектура модели сегментации изображена на рис.3.

2.2 Обучение на основе патчей и обработка дисбаланса классов

Опухоли, как правило, неоднородны, в зависимости от подтипов рака, и содержат как структурную изменчивость, так и изменчивость на уровне участков. Применение CNN непосредственно ко всему срезу имеет присущие ему недостатки. Поскольку размер каждого среза составляет 240X240, поэтому, если мы обучим ConvNet на всем изображении / срезе, количество параметров для обучения будет огромным. Более того, очень небольшая разница наблюдается в соседних срезах МРТ на глобальном уровне; в то время как участки, созданные из одного и того же среза, часто демонстрируют значительные различия. Кроме того, классы сегментации сильно несбалансированы. Примерно 98% вокселов принадлежат либо здоровой ткани, либо окружающей черной области. Тома NCR / NET имеют самый низкий размер среди всех трех классов, как показано на рисунке 4.

Каждая ConvNet обучается на участках размером 128X128X4, извлеченных из всех четырех последовательностей MRI, соответствующих определенной плоскости. Используется разработанный нами рандомизированный алгоритм извлечения патчей. Выбор патча осуществляется с использованием критерия, основанного на энтропии. Три ConvNets (вдоль трех плоскостей) обучаются сквозной / от пикселя к пикселю, на основе фрагментов, извлеченных из соответствующих наземных истинных изображений. Во время тестирования стопка срезов подается в модель, чтобы произвести пиксельную сегментацию опухоли по трем плоскостям. Эффективность обучения оценивается с использованием показателя перекрытия игральных костей для трех сегментированных субрегионов WT, ET и TC. Поскольку набор данных сильно несбалансирован, стандартные функции потерь, используемые в литературе, не подходят для обучения и оптимизации ConvNet. Это связано с тем, что большинство классификаторов сосредотачиваются на изучении более крупных классов, что приводит к низкой точности классификации для более мелких классов. Поэтому мы предлагаем новую функцию потерь, которая представляет собой совокупность двух составляющих потерь; а именно Обобщенная потеря игральных костей и Взвешенная кросс-энтропия.

3. Набор данных

Наборы данных МРТ-сканирования опухоли головного мозга и данные об общей выживаемости пациентов, использованные в этом исследовании, были предоставлены BraTS 18 Challenge. Он состоит из 210 случаев HGG / GBM и 75 случаев глиомы LGG в качестве набора данных для обучения и 66 комбинированных случаев HGG / GBM и LGG в качестве набора данных для проверки. Набор для сканирования МРТ каждого пациента состоит из четырех последовательностей или каналов МРТ, имеющих 155 срезов изображений с разрешением 240X240. Данные уже выровнены по тому же анатомическому шаблону, череп очищен и интерполирован до разрешения вокселей 1 мм3. Ручная сегментация объемных структур была выполнена экспертами в соответствии с одним и тем же протоколом аннотаций, а их аннотации отредактированы и одобрены сертифицированными нейрорадиологами. Прогнозируемые метки оцениваются путем слияния трех регионов, а именно. всю опухоль (WT: все три метки), ядро ​​опухоли (TC: ET и NCR / NET) и усиливающую опухоль (ET).

4. Экспериментальная установка и результаты.

Модели ConvNet были разработаны с использованием Intel® Optimized TensorFlow с Keras в Intel® Distribution for Python. Эксперименты проводились на платформе Intel AI DevCloud, имеющей кластер процессоров Intel® Xeon® Scalable и 250 ГБ оперативной памяти. Предложенная модель сегментации обучена и проверена на соответствующих наборах данных для обучения и валидации, предоставленных организаторами BraTS 2018.

4.1. Реализация уровней пространственного пула и распула для оптимизированного Intel® TensorFlow

4.2. Количественные и качественные результаты

Предварительные количественные результаты оценки, полученные с помощью нашей модели сегментации на наборах данных для обучения и проверки BraTS 2018, показаны в таблице 1. Графики в виде прямоугольников на рис. 5 представляют подробные результаты количественной сегментации, полученные для 66 пациентов в ходе валидации BraTS 2018. набор данных. Количественные показатели, используемые для оценки результатов сегментации относительно золотым стандартом (в случае обучения) и посредством таблицы лидеров / слепого тестирования (в случае валидации) являются (i) счет в кости, (ii) чувствительность, (ii) специфичность и (iii) расстояние Хаусдора, вычисленное для WT, TC, и ET. Графики в виде ящика и уса отображают минимальный, нижний квартиль, средний верхний квартиль и максимум. Точки, которые выходят за пределы 1,5-кратного межквартильного размаха, считаются выбросами. Из графиков ящика и усов очевидно, что в большинстве случаев наш алгоритм обеспечивает значительно хорошую точность сегментации по сравнению с сегментацией вручную, выполняемой радиологами. Результаты качественной сегментации, полученные с помощью нашего метода для выборки пациентов с HGG и LGG из обучающего набора данных BraTS 2018 и для выборочного пациента из набора данных валидации BraTS 2018, показаны на рис. 6 и 7.

5. Вывод

Мы разработали новый метод, основанный на глубоком обучении, для автоматического выделения / сегментации опухолей головного мозга по многопоследовательным МРТ-изображениям. Модель ConvNet типа кодер-декодер для пиксельной сегментации работает лучше, чем другие модели на основе патчей. Интегрированное предсказание из нескольких анатомических плоскостей (аксиальной, сагиттальной и корональной) было лучше с точки зрения точности и надежности решения по сравнению с оценкой, основанной на любой отдельной плоскости. Новые концепции, такие как пространственное объединение и отключение, уменьшили ошибку сегментации вокруг границы VOI. Мы также включили быстрые соединения для копирования и объединения принимающих полей, от кодировщика до частей декодера, чтобы помочь сети декодера локализовать и более эффективно восстанавливать детали объекта. Была получена очень хорошая точность проверки для задачи сегментации.