Бейте тревогу! Глубокое обучение и ультразвуковое сканирование

Автор Шубханг Десаи

Как популярный и дешевый метод диагностики, УЗИ дает возможность создать большую базу данных медицинских изображений. Поскольку многие диагнозы, поставленные радиологами, могут быть сформулированы как задачи классификации, естественно попытаться применить машинное обучение (ML) к этим изображениям. При этом на данный момент ультразвуковая визуализация не является методом, который глубоко изучается сообществом машинного обучения. Это сообщение в блоге:

Расскажу немного об УЗИ
Объясните, каков современный уровень машинного обучения в применении к ультразвуку.
Обозначьте текущие проблемы и открытые вопросы в проблеме

Что такое ультразвук?

Ультразвук - это метод, при котором на кожу помещают датчик, излучающий звуковую волну сверхвысокой частоты [14]. Звуковые волны отражаются от границ органов в теле и, в свою очередь, улавливаются датчиком. Время от первоначального излучения волны до времени возврата позволяет сканеру создать изображение внутренней части тела.

Есть две основных разновидности ультразвука: B-режим и допплерография. В ультразвуке в B-режиме отраженные звуковые волны создают простое неподвижное изображение анатомии. Неподвижные изображения черно-белые, что делает их двухмерными. Между тем, в ультразвуковом доплеровском исследовании искажение звуковых волн из-за движения в теле используется для отображения потока жидкостей, например крови, по венам. Эти движения имеют цветовую кодировку, что делает ультразвуковое допплеровское сканирование трехмерным. Как в B-режиме, так и в доплеровском режиме можно быстро снимать неподвижные изображения для создания видео.

Ультразвук можно использовать для получения простых изображений анатомии (известный как диагностический ультразвук) или даже для получения более сложной информации о теле, такой как кровоток или мягкость тканей (известный как функциональный ультразвук). Ультразвук также можно использовать для взаимодействия с тканями с помощью звуковых лучей высокой интенсивности (известных как терапевтический ультразвук) - примером такого взаимодействия может быть разрушение сгустков крови, хотя на практике это нечасто. Анатомическое и функциональное ультразвуковое исследование создает изображения / видео, к которым мы можем применить машинное обучение, а терапевтическое ультразвуковое исследование - нет.

Ультразвук - относительно недорогой и портативный метод диагностики. Процедура неинвазивная и быстро дает рентгенологам информацию, необходимую для постановки диагноза. Сонографические аппараты становятся все меньше и меньше (см. Ультразвуковой датчик, который можно прикрепить к смартфону), что делает их все более доступными для развивающихся стран. Таким образом, достижение результатов ультразвуковых изображений на уровне радиологии предоставит таким странам эффективные и осуществимые медицинские решения.

Посетите этот ресурс NIH, чтобы узнать больше об ультразвуковой визуализации: https://www.nibib.nih.gov/science-education/science-topics/ultrasound.

Работа с данными УЗИ

Ультразвуковые изображения обычно представлены в формате файла, известном как DICOM. Это стандартный формат медицинских изображений, в котором хранятся значения пикселей для сканированных изображений, выполненных различными способами, а также дополнительные параметры теста. Они сохраняются как файлы «.dcm». Отличным пакетом для работы с этим форматом в Python является пакет PyDicom.

Для ультразвуковых изображений не требуется много предварительной обработки, в отличие от таких методов, как КТ. Поскольку значения пикселей, хранящиеся в файлах DICOM, напрямую отражают то, как их может увидеть рентгенолог, обычно можно сохранить изображения такими, какие они есть. Кроме того, зернистость ультразвуковых изображений затрудняет выделение определенных структур, таких как вены, с использованием традиционных методов компьютерного зрения, что затрудняет предварительную обработку.

Текущая работа

Хотя ультразвук мало изучен в ML, есть несколько статей, которые составляют текущее состояние дел по этой задаче. Ниже обсуждается недавняя работа над этой задачей.

Идентификация

Самая основная задача машинного обучения, применяемого к ультразвуковым изображениям, - это идентификация: при сканировании определить, содержит ли оно (а часто и где именно) аномалию. Удивительно, но примерно до 2010 года, казалось, был толчок к применению нейронных сетей (часто называемых искусственными нейронными сетями или ИНС в медицинских документах) для решения медицинских проблем. За это время появились статьи о применении ИНС к ультразвуковым изображениям для выявления заболеваний печени [1], рака предстательной железы [2], узелков груди [3] и тромбоза глубоких вен (ТГВ) [4 ]. Эти ИНС были тем, что мы сегодня называем полностью подключенными сетями - самым основным типом сетей, которые вводят вектор действительных чисел и не имеют разделения веса (например, в сверточных сетях, используемых для изображений). Другими словами, в этих документах есть модели, которые извлекают числовые характеристики из ультразвуковых изображений в качестве этапа предварительной обработки перед передачей этих векторов через неглубокую полностью подключенную сеть.

Примерно пять лет спустя был период, когда традиционные методы машинного обучения были применены к проблеме ультразвука: использование двоичных деревьев решений для обнаружения ТГВ [5] и логистической регрессии [6] и SVM [7] для классификации опухоли груди. Лишь до недавнего времени глубокое обучение применялось для идентификации на УЗИ. Чтобы обнаружить почки на ультразвуковых изображениях, Ravishankar et al. используйте метод, называемый трансферным обучением, для точной настройки CNN, предварительно обученного в ImageNet [8]. Zheng et al. также используйте трансферное обучение для выявления аномалий при УЗИ почек и мочевыводящих путей [9]. Эти первые результаты являются чрезвычайно многообещающим признаком того, что ультразвук - это лучший гвоздь, в который нужно попасть молотком CNN!

Поколение

Обычное применение ML в ультразвуке - шумоподавление: повышение качества и / или разрешения низкокачественных ультразвуковых сканирований. Модели также пытаются создавать ультразвуковые изображения с помощью дополнительных входов. Эти модели можно сгруппировать под названием «генеративные», поскольку они полагаются на сверточные сети, которые генерируют изображения для выполнения своей задачи.

В недавней статье используется серия генерирующих состязательных сетей для преобразования карт эхогенности в реалистичные ультразвуковые изображения [10]. Их конвейер состоит из симулятора B-режима, основанного на физике, и двух GANS, которые постепенно уточняют начальное моделирование до тех пор, пока не будет достигнут реалистичный результат. Этот подход решает проблему, с которой сталкиваются современные системы моделирования: необходимость решать трудноразрешимые в вычислительном отношении уравнения для создания моделирования. В этой системе GAN могут мгновенно создавать реалистичный результат сканирования при моделировании в B-режиме.

Также ведется работа по повышению качества медицинских изображений. В недавней статье используются сверточные сети для преобразования пятнистых, размытых ультразвуковых изображений в изображения КТ-качества [12]; в еще более поздней статье используется довольно простая сверточная архитектура для увеличения разрешения портативных ультразвуковых аппаратов [11]. В этих статьях делается попытка использовать доступность ультразвукового метода для получения изображений превосходного качества - буквально, используя ИИ, чтобы сделать УЗИ лучшим методом диагностики!

Сегментация

Сегментация - это задача ввода данных и выделения областей интереса. В контексте медицины это может означать окрашивание проблемной области на сканировании, чтобы привлечь к ней внимание. Для конкретного метода ультразвукового исследования популярной проблемой сегментации является обнаружение раковых опухолей при ультразвуковом сканировании груди (BUS). В недавнем тестовом исследовании была проведена проверка и сравнение эффективности различных подходов машинного обучения к задаче путем агрегирования довольно большого (562 изображения) набора данных сканирования шины B-режима и тестирования подходов на нем [13].

В исследовании сравнивается эффективность пяти современных подходов, в которых для сегментации используются доменные особенности и другие традиционные методы компьютерного зрения. Кажется, что работа в области ультразвуковой сегментации до сих пор опирается на традиционные методы CV; будет интересно посмотреть, как это может измениться, если и когда глубокое обучение будет применено к этой проблеме.

Проблемы и открытые вопросы

Хотя УЗИ, безусловно, является дешевым и удобным методом, имеется не так много маркированных ультразвуковых изображений, общедоступных для задач машинного обучения из-за правил конфиденциальности пациентов. Таким образом, одна из самых больших проблем - это отсутствие данных с пометкой. До сих пор эта проблема решалась путем использования методов трансферного обучения, в которых сеть, обученная классификации изображений, дополнительно обучается классифицировать ультразвуковые изображения. Открытый вопрос заключается в том, будут ли системы, обученные на большом наборе данных ультразвуковых изображений, с учетом того, что он может быть предоставлен, работать лучше, чем системы, обученные с использованием трансферного обучения.

Поскольку количество доступных ультразвуковых данных ограничено, проблемой также является то, что мы не используем одну из самых интересных функций сонографии: возможность снимать видео. Учитывая последовательность ультразвуковых данных, было бы фантастическим экспериментом подавать изображения в повторяющуюся сеть на каждом временном шаге, чтобы попытаться предсказать диагноз. Производительность системы, обученной на временных сериях ультразвуковых изображений, все еще остается открытым вопросом.

Большая часть данных, собранных с помощью ультразвуковых аппаратов для задач машинного обучения, - это УЗИ в B-режиме. Как будет работать система, обученная ультразвуковой допплерографии? Дополнительный ввод потока крови / жидкости предоставил бы системе машинного обучения дополнительную функцию, на основе которой можно было бы делать прогнозы, что, возможно, улучшило бы ее производительность. Так ли это на самом деле - вопрос открытый.

Заключение

Еще предстоит проделать большую работу по применению машинного обучения к ультразвуковым изображениям. Однако исторические исследования и недавнее возрождение интереса, в дополнение к простоте и практичности этого метода, делают эту задачу невероятно назревшей для машинного обучения. По мере того, как ИИ становится все более и более неотъемлемой частью здравоохранения, будет интересно посмотреть, как это влияет на диагностические процессы с использованием ультразвука и как это влияние может принести пользу миллиардам людей, не имеющих доступа к врачам, по всему миру.

Благодарности

Я хотел бы поблагодарить Мэтта Лунгрена, доктора медицинских наук, доцента радиологии Медицинского центра Стэнфордского университета, за его руководство и отзывы на протяжении всего процесса написания. Я также хотел бы поблагодарить Бхавика Пателя, доктора медицины, магистра делового администрирования, доцента радиологии в Медицинском центре Стэнфордского университета, и Пранава Раджпуркара, Джереми Ирвина, Танай Котари, Аарти Багула и Ника Бьена из Стэнфордской группы машинного обучения. за их комментарии.