Это исследовательское сообщение в блоге, в котором подробно описывается моя работа по разработке приложений глубокого обучения для анализа изображений сетчатки, получивших название оптической когерентной томографии (ОКТ), которые, по моему мнению, будут жизненно важными. часть диагностической и прогностической системы каждого офтальмолога. Я также упомянул некоторые из моих других работ в области «глубокого медицинского обучения», но оставлю подробности этих проектов для другого поста.

Если вас интересует только проект и то, как глубокое обучение применяется к изображениям сетчатки глаза, вы можете пропустить Часть I, которая помещает вас в контекст, чтобы понять последствия самого проекта. . Часть II подробно описывает проект. Наслаждаться!

Часть I: Пейзаж медицинского искусственного интеллекта

Во-первых, врачей никто не меняет. Это неправильное представление об ИИ в медицине. Во всяком случае, ИИ рассчитывает на сотрудничество в области повышения эффективности и точности в здравоохранении. На рисунке, который не требует пояснений, ниже показано, как подходит пословица «две головы лучше, чем одна».

В общих чертах ИИ определяется как инкапсуляция всего, что является вычислительно интеллектуальным. Если мы абстрагируем уровни интеллекта как восприятие и рассуждение, глубокое обучение (DL) печально известно тем, что является самым современным во многих задачах, связанных с первыми, такими как как распознавание изображений, видео и речи, и это лишь некоторые из них. В медицине существует множество возможных применений DL; однако ближайший интерес представляет анализ данных медицинской визуализации для задач поддержки принятия клинических решений. Далее следует краткий обзор ландшафта DL в медицине.

Чтобы увидеть общую картину того, где мы находимся в слиянии технологий DL с медициной, мы можем проанализировать проникновение DL на известные конференции по медицинской визуализации.

Мы видим, что эта область находится в расцвете, и исследования созрели для вознаграждения (и, возможно, высокого уважения). Однако некоторые исследователи склонны использовать глубокое обучение в качестве готового решения в виде черного ящика для произвольных проблем, что вызывает неуважение к практике DL в целом.

Размышления о сотрудничестве доктора и инженера

Вот несколько прозрений, которые у меня были, когда я работал с врачами в качестве инженера / ученого.

Каждый проект должен начинаться с того, что врач скажет:

«… Было бы здорово увидеть, как ‹doctor_word_for_DL› пытается решить ‹medical_task›. Я знаю коллег, которые могли бы воспользоваться такой помощью в клинике ... »

а не инженер, говорящий:

«... если мы сможем достичь ‹number_close_to_optimum› на ‹possably_irrelevant_performance_metric›, тогда каждый врач выйдет в очередь за пределами нашей лаборатории…»

Я усвоил это на собственном горьком опыте, работа за месяцы была выброшена в окно после презентации, потому что я был инженером в приведенной выше цитате. Достаточно сказать, что с тех пор я всегда оставлял проектное предложение врачам, конечно, помогая им разобраться в возможностях того, что DL может надежно сделать.

В контексте медицины любой алгоритм должен быть максимально прозрачным, чтобы его можно было считать полезным. Врачи не хотят видеть некоторые шаги оптимизации и показатели производительности. Они хотели бы видеть виртуального коллегу, а не виртуальное эго, управляющее им. Они хотели бы видеть, на чем основаны его решения, на какие части изображения он обращается во время звонка.

Оглядываясь назад, я не знаю, почему это не было очевидно для меня вначале. Я был зациклен на диагностике, это был идеальный путь к, казалось бы, ценным результатам. После некоторых первоначальных конструктивных критических замечаний со стороны врачей я внедрил вспомогательные алгоритмы, которые пролили свет на внимание сети. Я использовал этот алгоритм для создания таких вещей:

Я расскажу о своем Диагнозе расстройства мозга с помощью данных функциональной нейровизуализации (« ОФЭКТ )» в другом сообщении блога. На данный момент я только скажу вам, что это проект, который я веду с частной исследовательской клиникой, которая предоставила мне доступ к своей многоместной базе данных изображений ОФЭКТ за несколько десятилетий и еще более ценным данным окончательного диагноза, завершенным через 6 лет. месяцев наблюдения или определяется после реакции на лекарства.

Мы разрабатываем систему поддержки принятия клинических решений, которая может помочь визуальным читателям изображений SPECT. Сформулировать на ОФЭКТ непросто, поскольку данные являются функциональными (уровни перфузии крови), а не анатомическими. Подробнее об этом позже.

DL в офтальмологии

Как я указывал ранее, в этом сообщении блога будет продемонстрирована разработка приложений глубокого обучения для анализа изображений сетчатки глаза, в частности изображений оптической когерентной томографии (ОКТ).

Давайте узнаем, что такое ОКТ и как оно используется в офтальмологии, в трех разделах:

  1. Его принципы основаны на Интерферометре Майкельсона », который мы знаем из средней школы, только немного сложнее (в этом посте нет лекции по оптике)

2. Это неинвазивный метод, для выполнения требуется порядка секунд (1–5 секунд) и имеет разрешение мкм.

3. Он не может проникать в ткань больше, чем на несколько миллиметров; следовательно, он в основном находит применение в дерматологии (кожа) и офтальмологии (глаза).

Приведенное выше ОКТ-изображение (сетчатки) показывает, как ОКТ-изображения содержат гиперрефлексивные (светло-серые) и гипорефлексивные (темно-серые) полосы, что является основой гистологической корреляции ОКТ-изображений. с анатомией сетчатки: слои сетчатки имеют измеримые различия в оптических характеристиках, и это отражается на изображениях ОКТ.

ОКТ-изображения представляют собой трехмерные изображения, а точнее объемные изображения. При нанесении на глаза они служат инструментом для анализа слоев сетчатки (задней части глаза) на предмет возможных деформаций. Большинство проблем, связанных с глазами, возникают из-за сетчатки.

OCT 101: терминология и приложения

Давайте сначала избавимся от терминологии:

A-сканирование: один ход лазера позволяет сканировать линию тканей, перпендикулярную вашему глазу.

B-сканирование: одна плоскость, содержащая A-сканы, соответствует поперечной плоскости в анатомии.

Коэффициент кубика: мера перекрытия, как правило, между истинным значением и прогнозируемой сеткой значений. Также известен как F1-score. Соответствует Intersection-over-Union (IoU) в задачах плотного прогнозирования.

Анфас: просмотр трехмерных объемов с кодировкой глубины.

Отек: жидкость внутри сетчатки или около нее, которой там быть не должно.

Друзы: аномальные отложения липидов в сетчатке.

Вот один случай, когда OCT пригодится для быстрого осмотра сетчатки:

Сегментированный слой - это RPE, 1 из 18. Оранжевый контур - это ожидаемый здоровый контур, а желтый контур - то, что наблюдается у пациента. Это указывает на то, что у пациента могут быть друзы, которые впоследствии увеличивают риск AMD, id est:

Какими бы четкими и резкими ни казались на первый взгляд приведенные выше ОКТ, даже опытным клиницистам неоправданно сложно очертить анатомию всех 18 слоев сетчатки путем рисования контуров по граничным пикселям.

Экспертная диагностика: шум на этикетке

Чтобы обосновать это утверждение, я даю вам представление о том, как известные исследовательские группы OCT генерируют метки для обучающих наборов данных OCT:

… Мы проверили наш алгоритм на 110 B-сканированиях десяти пациентов с тяжелой патологией DME (отек), показав общий средний коэффициент Дайса 0,78 при сравнении нашего алгоритма с экспертным оценщиком. Это сопоставимо с коэффициентом Дайса между наблюдателями, равным 0,79… [ Исследовательская группа Сины Фарсуи из DUKE ]

Это говорит о том, что прогнозы алгоритма перекрываются с достоверными метками с такой же скоростью, как два опытных врача, слепо сегментирующие изображения, совпадают друг с другом. Противоречивое мнение врача - плохой знак! Но не волнуйтесь, ярлыки истины являются результатом консенсуса между двумя врачами, которые не соглашаются друг с другом.

Фактически, исследователи из Google Brain пошли немного дальше и смоделировали мнение каждого врача как вероятностное распределение, а не как единый детерминированный твердый факт. Например, если есть X врачей, и все они пометили (сегментировали или поставили диагноз) Y изображений, тогда есть прогнозы X * Y для каждого изображения (пиксель, если сегментация). Это отличается от обычных прогнозов Y для каждого класса меток для изображения или пикселя. Мотивация этого исследования юмористически указана в заголовках подразделов статьи:

Удивительно, но моделирование индивидуального мнения врача на самом деле существенно улучшило производительность. Они назвали эту технику DoctorNet по понятным причинам.

Еще один очень интересный результат этого исследования заключается в том, насколько нейронные сети необъяснимо устойчивы к зашумленным обучающим сигналам, т. Е. Ошибочно маркированным данным, в определенной степени,% 80 в случае MNIST. Это можно интуитивно объяснить тем, что нейронная сеть все еще спускается с холма в функции потерь, даже если направление градиента искажено до некоторой некатастрофической степени.

Имейте в виду, что это не те же результаты, что и Лучшая статья ICLR 2017 « Понимание глубокого обучения требует переосмысления обобщения ». В этой статье показано, что нейронные сети соответствуют произвольно размеченным данным, но производительность тестовых данных не показывается устойчивой, несмотря на случайные метки.

Другие недостатки OCT

Также существует большой разброс в качестве ОКТ-изображений, поскольку цены на ОКТ-сканеры сильно разнятся от таких поставщиков, как Heidelberg, Carl Zeiss и т. Д. В большинстве случаев наблюдается сильный спекл-шум, который преобразует эти изображения в экраны телевизоров. плохой прием антенны:

Из-за этих ограничений OCT несколько исследовательских лабораторий сосредоточились на разработке алгоритмов, которые могли бы включать знания предметной области при сегментации отдельных слоев сетчатки в присутствии низкого отношения сигнал / шум. . Один из самых популярных алгоритмов, который автоматически сегментирует слои сетчатки из ОКТ-сканирований, - Эталонный алгоритм Айовы, доступный как бесплатное программное обеспечение. Он работает очень хорошо, когда анатомия сетчатки не повреждена. В других случаях он произвольно рисует контуры над областями аномалии, как если бы там были слои сетчатки. Хорошо, что он оптимистично оценивает состояние глаза пациента; однако он ограничен жестко закодированными знаниями предметной области. Он не дает значимых результатов для патологических случаев.

Эрго, врачи из Медицинской школы Кека USC, отделения офтальмологии, предложили нам разработать модели глубокого обучения для проведения надежного ОКТ-анализа сетчатки.

Почему сегментация, а не прямая диагностика?

Я рассматриваю это как приблизительный шаг в окончательном процессе анализа изображений сетчатки с помощью искусственного интеллекта. Шаги следующие:

Примерный шаг: сегментация слоя сетчатки; включает важные знания предметной области в данные, которые можно использовать на более позднем этапе (возможно, при диагностике?). Он также создает шаблон, который ИИ может использовать, чтобы сообщить врачу о своих выводах, указывая на аномалии в структуре слоев.

Конечный шаг: диагностика; используйте информацию о слоях из сегментированных изображений и узнайте, как деформации форм слоев сетчатки вызывают определенные виды осложнений в глазах. Локализуйте эти деформации, указав их на самом изображении, чтобы помочь врачам поставить точный диагноз.

Как вы, скорее всего, знаете, Google опубликовал статью о диагностике диабетической ретинопатии с использованием глубокого обучения в JAMA, журнале медицинских исследований. Однако изображения глазного дна (ОКТ с видом на лицо) содержат гораздо меньше информации, чем изображения ОКТ, из-за того, что они свернуты в 2D.

Конечно, они осознают неиспользованный потенциал огромных объемов 3D OCT, и они уже работают над включением OCT в свою структуру. Ниже отрывок из исследовательского блога Google показывает их текущее положение (по состоянию на апрель 2017 г.):

Идти в том же направлении, что и Google, обнадеживает, но также очень пугает в том смысле, что они пойдут скорее всего «предшествующий уровень техники» меня.

Последние достижения в области сегментации биомедицинских изображений

В 2015 году это была полностью сверточная нейронная сеть U-Net. С тех пор появилось много методов, таких как Пакетная нормализация, Генеративные состязательные сети для семантической сегментации, Виртуальное состязательное обучение и т. Д., Которые значительно повышают производительность нейронных сетей.

Влияние U-Net в этой области ясно видно в переходе основного автора статьи, Олафа Роннебергера, из Университета Фрайбурга в Google Deepmind, самая популярная лаборатория искусственного интеллекта в Европе, которая также сотрудничает с крупнейшей глазной больницей в Европе над разработкой ИИ для анализа OCT.

Преимущество U-Net в том, что он может очень хорошо работать с очень небольшим объемом данных, чего нельзя сказать о многих задачах глубокого обучения. Практически всегда в медицинских приложениях мало данных, с которыми можно работать. Моя гипотеза о том, почему U-Net работает очень хорошо, несмотря на небольшой объем данных, заключается в том, что мы прогнозируем для каждого пикселя (или вокселя) на входе, и это обеспечивает огромное количество сигнала ошибки для обучения сети, в отличие от изображения задачи разумного прогнозирования, при которых один сигнал ошибки распространяется через огромную сеть и не обеспечивает ни достаточной обратной связи, ни определения виновности каждого нейронного блока.

Такие методы, как пропуск соединений между слоями и упругие деформации для увеличения данных, скорее всего, ответственны за большую часть успеха этого семейства моделей. Однако мы не собираемся подробно исследовать архитектуру U-Net и теперь углубимся в мою работу по сегментации слоя сетчатки на OCT.

Часть II: Проект

Теперь я излагаю свою экспериментальную установку. Имейте в виду, что на настройку этой архитектуры вручную ушло огромное количество человеко-часов, поскольку генетические алгоритмы для изучения оптимальной архитектуры все еще не применимы.

Обработка набора данных

Данные OCT взяты из базы данных Больницы Кека USC. У нас есть IRB для правильной обработки неидентифицированных данных пациентов. Ярлыки для здоровых случаев генерируются с помощью вышеупомянутого эталонного алгоритма Айовы. Первой вехой в этом проекте для меня было убедить врачей в том, что глубокое обучение - это жизнеспособный подход; следовательно, этот набор данных включает в себя в основном здоровые ОКТ-сканирования. Идея о том, что набор обучающих данных маркируется алгоритмом, а не людьми, более популярна, чем вы думаете (например, эта статья). Этот алгоритм помечает 11 слоев из 18 возможных. Это выбор врачей, поскольку, по их словам, оставшиеся семь не имеют клинического значения.

Наши ОКТ-изображения представляют собой объемы в оттенках серого 245x245x1024, то есть 245 A-сканов и 245 B-сканов. Объем физически представляет собой сетку размером 3 мм x 3 мм x 2 мм. Следовательно, разрешения составляют 12 мкм х 12 мкм х 2 мкм. Область интереса в последнем измерении составляет только 288 из 1024, объем, покрывающий сетчатку. 288 выбирается так, чтобы делиться на 2 по крайней мере в 4 раза, так что операции объединения приводят к точному пространственному соответствию. У нас есть около 5000 срезов B-сканирования от 30 или около того пациентов.

База данных USC фактически насчитывает тысячи пациентов, и значительные усилия будут направлены на их надежную маркировку для следующего этапа этого исследования. При глубоком обучении маркировка наборов данных с естественными изображениями часто осуществляется краудсорсингом на Amazon Mechanical Turk; однако это невозможно в случае медицинских изображений, требующих опыта, усердия и усердия одновременно.

Отрасли развития

У проекта есть две отдельные ветви развития. Первая ветвь использует одноступенчатую нейронную сеть для сегментации слоя сетчатки. Вторая ветвь использует GAN, т. Е. Генерирующие состязательные сети, чтобы навязать глобальные априорные знания входных данных, чтобы в целом они были еще более точными. Я кратко представлю GAN и их применение для семантической сегментации в следующих разделах.

Ветвь I: одноэтапная сверточная нейронная сеть

Предостережения относительно дизайна

Прежде чем говорить о любом дизайне сети, я хочу подчеркнуть, что целевая функция сети - это коэффициент игральной кости (пересечение по объединению):

где Pi - это прогноз softmax сети для i-го пикселя, а Gi - метка слоя с горячим кодированием для того же самого. Обратите внимание, что нам нужно максимизировать коэффициент игральной кости, чтобы получить полное совпадение между предсказаниями и истиной. Он принимает максимальное значение 1 и минимальное значение 0. Следовательно, мы минимизируем отрицательный коэффициент игральных костей, который соответствует максимальному увеличению обычного коэффициента игральных костей.

Выбор коэффициента при игре в кости в основном обусловлен его классовой независимостью. Позвольте мне подробно объяснить, что это значит. Стандартная целевая функция в этих задачах - кросс-энтропия, которая представляет собой (вероятностную) метрику распределительного расстояния между предсказаниями и основной истиной. Однако это вызывает предвзятость в отношении классов, которые чаще встречаются в наборе данных. Вы можете думать об этом как о предыдущем распределении в правиле Байеса, хотя и не совсем:

где A - входное изображение, B - сегментация наземного слоя истинности, а P (A) - априорное распределение (частота в наборе данных) классов на каждый пиксель. Легко видеть, что знаменатель у всех одинаковый. Следовательно, наша цель состоит в том, чтобы вывести P (B | A) без нарушения из возможно неоднородного априорного P (A). P (A) редко бывает однородным. Конечно, такие методы, как предварительная коррекция журнала перед слоем softmax, могут работать, но, по моему опыту, они, как правило, дестабилизируют обучение.

Механизм того, как Dice Coefficient ускользает от неоднородной априорности, оставлен в качестве упражнения для воодушевленного читателя (я всегда хотел это сказать).

Сетевая архитектура

Левая часть сети (нисходящий путь) называется сжимающим путем. Эта часть последовательно анализирует входное изображение в нескольких масштабах и строит его иерархическое представление. В самом нижнем слое представление находится в наиболее компактной форме, разрешение карты объектов минимально, но контекстная информация в каждой единице максимизирована, т. Е. рецептивное поле каждого нейрона представляет собой очень большую плитку на входном изображении.

Пропустить связи и основную математику

Правая часть сети (восходящий путь) называется расширенным путем и предназначена для восстановления точной информации о местоположении из компактного представления (самое нижнее). Однако это по своей сути недоопределенная проблема для расширенного пути, поскольку ожидается, что в результате будет получено представление с более высоким разрешением, чем у входных данных. Он недоопределен в том смысле, что нарушает второе условие Адамара корректности, то есть уникальность обратной задачи * (Посетите эту звезду, она информативно и доступно). Именно по этой причине существуют пропуски соединений между слоями сужающихся путей и соответствующими слоями расширенных путей, которые включают в себя исходные предварительные знания анатомии глаза и ограничивают пространство решения уникальным решением, то есть при постоянном компактном представлении оно сливается с Необработанные функции изображения по всему расширенному пути приведут к сегментации, специфичной для этого ввода.

* Обучение нейронной сети для классификации с набором данных примеров ввода-вывода математически называется реконструкцией гиперповерхности, служащей границей решения (для задачи классификации) из примеров ввода-вывода, и это обратная задача (реконструкция) . Есть 3 условия для корректной постановки обратной задачи:

Очевидно, первое условие, как правило, меньше всего нас беспокоит. Третье условие особенно беспокоит, когда у нас есть небольшое количество обучающих примеров, а реконструированная поверхность из этих примеров очень негладкая из-за проклятия размерности. Это условие обычно обеспечивается регуляризатором в процедуре обучения, который предпочитает гладкость гиперповерхности точности вклада обучающего примера.

В этом сценарии нас беспокоит второе условие. Для данного изображения NxN (скажем, самая нижняя размерность - NxN) существует несколько правдоподобных выходных данных размером 8Nx8N, то есть с трехкратной повышающей дискретизацией на всем широком пути в сети. Чтобы ограничить множество кандидатов до их «специфичного для ввода» подмножества, применяется второе условие. Пропускаемые соединения переносят необработанные данные из входного изображения, так что выходное изображение «учитывает ввод».

Пропустить соединение (зеленая стрелка) - это простое объединение карт объектов, объединяющее необработанные и обработанные объекты. Необработанные объекты имеют неизменное разрешение для детальной сегментации, а обработанные объекты имеют контекстную информацию, которая является хорошим локализатором грубых шаблонов.

Повышение дискретизации достигается с помощью обучаемых слоев, называемых upconvolution, не путать с деконволюцией. Точный технический термин - свертки с дробным шагом или транспонирование свертки. Это просто операция свертки, когда одно значение пикселя умножается на ядро, чтобы получить результат, равный размеру ядра. Если размер ядра 2x2 и шаг свертки равен 2, то это обычная операция повышения дискретизации без сумм перекрытия.

Свертки

Свертки не выполняются в допустимом режиме * для пограничных пикселей, как в U-Net. Изначально свертки в допустимом режиме предназначались для эффективного увеличения размера набора данных за счет наличия нескольких меньших выходных плиток для данного обучающего образа (упоминается как стратегия листов в документе U-Net). В этом проекте около 4000 обучающих изображений; следовательно, ни увеличение данных, ни мозаика не используются в качестве метода эффективного увеличения размера набора данных.

Размер партии 1 работает?

Алгоритм обучения итеративной оптимизации первого порядка - Адам с параметрами импульса по умолчанию, которые очень высоки. Это связано с тем, что даже несмотря на то, что изображения OCT очень мало различаются с точки зрения глобальной статистики из-за того, что они находятся в контролируемой настройке (сетчатка), большие сети и большие размеры пакетов не помещаются в память GPU **. Следовательно, нам нужно уменьшить размер пакета, чтобы иметь возможность уместить сеть в память, что приводит к зашумленной оценке градиента. Отсюда и проистекает потребность в стабилизации за счет импульса.

Удивительно, но размер партии 1 ведет себя очень хорошо. Нет ни колебательного поведения, ни задержки сходимости модели. Однако мне удалось уместить пакет размером 4 с меньшей сетевой архитектурой, и во всех моих экспериментах использовался размер пакета, равный 4. Ниже приведен краткий график обучения:

Катастрофическое забывание происходит примерно на 700-й итерации. Я предполагаю, что это связано с природой плотного прогнозирования, обеспечивающего нестабильно большие градиенты при объединении, в отличие от классификации по изображениям.

(Edit: после моей стажировки в NVIDIA, теперь я думаю, что это связано с тем, что представление float32 входит в денормализованный диапазон, когда градиент становится очень маленьким, а градиенты ненадолго искажаются) .

Когда встречается изображение, которое значительно отличается от ранее изученных, примерно в то время, когда сеть какое-то время зависала с коэффициентом кубика 0,96, она шокирована новейшей программой в ее учебной программе. Конечно, через несколько шагов Адам сдерживает катастрофу. Тем не менее, ранняя остановка до катастрофы предпочтительна. Имейте в виду, что мы останавливаемся еще до того, как завершится отдельная эпоха, а это означает, что риск переобучения очень низок в схеме, близкой к однократному обучению.

* Свертка в допустимом режиме выполняется путем скольжения ядра свертки по входному изображению до тех пор, пока они полностью перекрываются. В качестве альтернативы свертка может быть расширена до тех пор, пока между ядром и входным изображением не будет хотя бы одного перекрывающегося пикселя. В этом случае изображение зеркально отражается симметрично наружу от его границ, чтобы края изображения обрабатывались должным образом (симметричное зеркальное отображение является рабочим допущением для ОКТ-изображений, но может не подходить для других задач).

** Максимальный объем памяти для одного графического процессора составляет 12 ГБ на NVIDIA TITAN X (апрель 2017 г.), что соответствует этой модели с размером пакета 4.

Визуализация тренировки

Вот прогрессия обучения и то, как прогнозирование сети меняется с течением времени. 11 слоев сетчатки визуализируются как 11 оттенков серого, вам может потребоваться сфокусировать глаза. Визуализации основаны на предсказаниях argmax (наибольшая вероятность) из этих 11 слоев для каждого пикселя.

Вначале (шаг 6) сеть может лишь смутно найти границу между фоном и тканью сетчатки. После нескольких итераций (шаг 18) он достаточно хорошо изучает границы и приблизительно локализует 3–4 слоя сетчатки и, по крайней мере, их отношения смежности. На этапе 54 он начинает предсказывать очень тонкие и менее часто встречающиеся слои катастрофическим образом. Эти усилия начинают приносить плоды около шага 96. И при конвергенции слои четко очерчиваются, как показано ниже:

Я подтвердил два типа ошибок, в которые может попадать нейронная сеть:

Ошибка типа I: сети не удается провести непрерывные контуры, когда слои становятся очень тонкими.

Ошибка типа II. Вне контекста, тривиальные ошибки, такие как предсказание небольшого пятна фоновых пикселей в центре сетчатки.

Конечно, у меня есть два решения, которые дополняют эти два типа ошибок, но они еще не созрели для документации в этом посте. Ошибка типа I должна быть исправлена ​​путем взвешивания пикселей (как показано на рисунке ниже), где пикселям тонких слоев уделяется повышенное внимание. Тип II должен быть исправлен путем включения общих предварительных знаний об анатомии, которыми я сейчас занимаюсь, с помощью Gradient Penalty Wasserstein GANs.

Шаблоны взвешивания пикселей

Проще говоря, сегменты тонкого слоя будут выделены относительно более высоким весом пикселей. Предполагается, что этот метод препятствует поведению «двоичного расширения», которое проявляет сеть, когда слои становятся очень тонкими, а самый толстый слой доминирует в этой области.

Потеря критиков WGAN: предварительная информация во всем мире: исследования продолжаются

Эта модель работала немного лучше, чем исходная модель.

Береги себя и до встречи на другом посту.

об авторе

Я аспирант лаборатории анализа данных Виктора Прасанны на кафедре электротехники USC Viterbi. Я сотрудничаю с Amen Clinics и Keck Hospital of USC в разработке медицинских приложений для глубокого обучения, а также с лабораторией нейровизуализации USC (LONI). Я работал стажером по прикладным исследованиям в области глубокого обучения в NVIDIA в период с мая по сентябрь 2017 года. Я из Турции и имею степень бакалавра inEE от Билкентского университета. .