В этом году GTC организовала медицинский трек, посвященный приложениям на стыке искусственного интеллекта и медицинских технологий. Ряд семинаров был посвящен применению алгоритмов машинного обучения с использованием оборудования Nvidia, графических процессоров (GPU) для прогнозирования начала обнаружения рака на ранней стадии, при этом на многих сессиях анализировались другие раковые опухоли в анатомических структурах, таких как легкие, грудь и мозг. . На многих сессиях анализировалась фМРТ головного мозга, в частности, как средство продвижения исследований различных нейродегенеративных заболеваний, таких как болезнь Альцгеймера (БА).

Ниже приведены некоторые краткие сведения о сессиях, а также несколько заметок о демонстрациях виртуальной реальности (VR) и дополненной реальности (AR), а также о значении динамического пользовательского интерфейса для технических приложений медицинских исследований.

Исследователи могут получать изображения с различных сканеров, используемых для просмотра анатомических структур человеческого тела, улучшения и увеличения изображений, обнаружения патологии, диагностики заболеваний, а в некоторых случаях даже помощи в другом конце спектра, в лечении и прогноз, как описано на картинке выше.

Вызовы

Несколько семинаров подтвердили те же чувства, что и Ле Лу, штатный научный сотрудник Национального института здоровья (NIH), в отношении качества данных (размер данных, аннотации, фокусы данных).

«Тем не менее, неконтролируемая категоризация изображений (то есть без точной маркировки) гораздо менее изучена, критически важна и трудна, когда аннотации чрезвычайно трудно получить обычным способом« Google Search »+ краудсорсинг (именно так, как ImageNet был построен) ».

Традиционное определение «больших данных» обычно обсуждается при анализе миллионов и миллиардов пользователей. Однако для исследователей, работающих в сфере здравоохранения, медицины и биотехнологий, данные, хотя и богаты, это обычное замечание, которое я слышу, что исследователи ограничены только таким количеством наборов данных и ограничены небольшим количеством пациентов и наборов данных, в то время как большие. в масштабе (несколько изображений на пациента).

Профессор Стэнфордского университета Дэниел Рубин, который преподает курс магистратуры «Вычислительные методы анализа и интерпретации биомедицинских изображений», обсуждает эту борьбу, а также потребность в более интуитивных инструментах машинного обучения (ML), которые не потребуются многим исследователям в области биомедицины, разбирающимся в компьютерном программировании. ускорить темпы медицинских исследований.

Точно так же кандидат наук в области электротехники Стэнфордского университета Энхао Гун, который представил «Улучшенную реконструкцию МРТ с контрастированием для улучшенной диагностики с помощью глубокого обучения на базе Nvidia GPUS», разделял те же чувства. В его работе обсуждалось, как графический процессор Nvidia увеличил скорость предварительной обработки в 4000 и 100 раз для вывода и полной реконструкции МРТ. Учитывая постоянное повторение на большинстве семинаров (а также основателя и генерального директора Nvidia Дженсена Хуанга), говорящих о законе Мура, ограничения в производстве хорошего оборудования не являются нашей самой большой проблемой, но для максимальной оптимизации от данных до алгоритмов и приложений, которые мы создаем. .

Посмотрите выступление Дженсена Хуанга здесь.

Если данные по-прежнему хранятся в отдельных больницах (наборы данных остаются небольшими по размеру), исследователям и клиницистам становится еще сложнее максимально использовать преимущества приложений машинного обучения для обработки медицинских изображений. Как сказано на слайде ниже, сами данные сосредоточены на одной конкретной области интереса (ROI) (имеется в виду одна часть изображения, сфокусированная на узелке, опухоли или какой-либо другой специфической части изображения), и этого все еще недостаточно, поскольку большинство данных может быть полным изображением данной анатомической структуры.

Одна из других основных проблем в области медицинской визуализации и машинного обучения для исследователей - это качество данных (помимо изображений с высоким разрешением).

Сессия Ле Лу «Создание действительно крупномасштабных баз данных медицинских изображений: глубокое открытие этикеток и открытое распознавание» обсуждала различия в размере и масштабе от типичной хорошо аннотированной ImageNet (профессор Стэнфордского университета и пионер компьютерного зрения, работа Фей-Фей Ли) по сравнению с проблемами, с которыми борются многие исследователи и те, кто работает в национальном масштабе. Вместо миллионов или миллиардов пользователей данные о пациентах намного меньше, чем у 100000 человек с несколькими изображениями на человека (КТ и МРТ). Здесь вы можете внести свой вклад в набор данных с открытым исходным кодом NIH.

Чтобы более эффективно применять машинное обучение к медицинской визуализации для извлечения признаков, необходима маркировка, учитывая отсутствие аннотаций клиницистов к наборам данных. На сеансе Лу он обсудил, как он построил крупномасштабный набор данных, сфокусированный на рентгеновских снимках грудной клетки (рак легких), взял метки на данных об общих паттернах болезней, предопределенных радиологами, чтобы создать отчет для каждого изображения, что в результате привело бы к болезнь автоматическое обнаружение / классификация и локализация болезни. На изображениях ниже показано НЛП и создание отчетов в приложении Лу, а также другой стартап, Infervision, в зале GTC Expo Hall.

Несмотря на то, что создание отчетов - это хорошо (как показано в стартапах AI на GTC Expo, Infervision и в выступлении Ле Лу), некоторые из этих данных анализа все еще ограничены, поэтому даже инструменты VR, созданные радиологами (о которых я расскажу ближе к концу эта статья) пытается изменить рабочий процесс исследователей, просматривая их данные с погружением почти как трехмерное исследуемое объяснение.

Программный фреймворк Nvidia: DIGITS

Саман Сарраф, инженер и исследователь, также представил свою работу по Deep AD (Глубокая болезнь Альцгеймера) о том, как прогнозировать с высокой точностью с помощью цифр Nvidia. Вы можете прочитать больше в статье Самана IEEE здесь и в блоге Nvidia.

Вот информационная архитектура, описывающая процесс, через который рентгенологи проходят (много времени на подготовку и предварительную обработку данных), чтобы начать анализ данных о пациентах.

Работа Саррафа заключается в том, что, как и во многих других сессиях, которые я посетил, я работал с изображениями, обучался модели сверточных нейронных сетей (CNN) и приводил к классификации изображений, которая может помочь исследователям.

Вот короткое видео с семинара Энхао Гонга, которое объясняет CNN таким образом, что он визуализирует аналогичные методы для сглаживания изображений и извлечения признаков.

Помимо большинства разговоров о нейронных сетях, ориентированных на контролируемое обучение и классификацию изображений, на одной из самых интересных сессий, на которых я присутствовал, выступление Роберта Зигона на тему «Обработка данных с помощью графических процессоров в геномике нейровизуализации» продемонстрировало пересечение машинного обучения и биоинформатики. , биостатистика и неврология с его анализом корреляции между атрибутами вокселей МРТ и однонуклеотидными полиморфизмами (SNP) в последовательностях ДНК пациентов с болезнью Альцгеймера. Тепловая карта пользовательского интерфейса (UI) дает общий обзор взаимосвязи между плотностью серого вещества по данным МРТ и генотипом SNP. Когда пользователь наводит курсор на каждый сегмент мозга в режиме реального времени, он может видеть мозг и воксель за вокселем коррелированный SNP для каждой его части.

Другие связанные исследования

Подобно варианту использования, сфокусированному на реконструкции изображений анатомических структур, представленному Энхао Гонгом, который обсуждал маркировку артериального спина (ASL) для количественной оценки карт перфузии (церебральный кровоток), я был счастлив обнаружить, что один из тренингов по продвижению исследований сердечных заболеваний использовали данные фМРТ для измерения кровотока в головном мозге во время «Глубокого обучения для анализа медицинских изображений с использованием R и MXNet», представленного Nvidia. На этом семинаре была продемонстрирована структура Amazon MXNet для глубокого обучения, позволяющая обучать CNN определять объем левого желудочка сердца человека на основе временных рядов объемных данных МРТ. Хотя этот семинар не был посвящен нейродегенеративным заболеваниям мозга, этот семинар продемонстрировал, как различные типы применения алгоритмов машинного обучения к другим типам медицинской визуализации могут продвинуть медицинские исследования в других областях, более целостный подход, когда речь идет о человеческом теле в целом, и ни один орган или анатомическая структура, подлежащие изучению, не изолированы от остального.

Демонстрации виртуальной и дополненной реальности

Одна из лучших демонстраций виртуальной реальности, которую я пробовал, была от швейцарской компании Virtual Radiology, которая напомнила мне работу Университета Торонто, только с высоким разрешением, в цвете. См. Здесь видео демонстрации Университета Торонто (модуль VR для медицинской визуализации TVASurg) с черно-белой МРТ.

Кристоф фон Вальдкирх, генеральный директор Virtual Radiology, рентгенолог по образованию, показал, как исследователи могут делать срезы и корректировать изображение. Для меня это была одна из лучших демонстраций виртуальной реальности, которые я видел в HTC Vive.

Вот видео (крупный план) и более высокое разрешение демонстрации, которую я сделал.

Опять же, не будучи сфокусированным на визуализации мозга, иммерсивных и новых технологиях виртуальной реальности, дополненная реальность пересекается с технологиями здравоохранения и искусственным интеллектом новыми и разными способами. Соучредители Virtual Radiology, как и многие исследователи, с которыми я разговаривал (а также я), все испытывают одни и те же проблемы при обработке изображений, имеют проблемы с уменьшением зашумленности МРТ (четкости изображения) и используют разные подходы, помимо сглаживания. являются значительной частью конвейера подготовки данных до того, как вы обнаружите какое-либо представление о данных).

Поддерживаемая Y Combinator компания дополненной реальности, Meta, технический директор которой Карри Пулли (бывший исследователь Nvidia) кратко представил Spatial OS и Рекомендации Meta по дизайну AR во время GTC, генеральный директор Meta Мерон Грибец на 3-й день GTC представил демонстрацию AR. на Семинаре по дополненной реальности Стэнфордского центра инженерии систем изображений (SCIEN). .

Дизайн Меты основан на нейробиологии. Ссылаясь на основополагающую работу Дуайта Дж. Кравица в 2011 году, Грибец отмечает, что люди за последние 50 лет работы с компьютерами задействованы только в одной из этих двух зрительных систем (дорсальный путь в отличие от вентрального пути). Традиционные неинтуитивные плоские пользовательские 2D-интерфейсы улавливают наши мысли и взаимодействия в пределах экрана (мобильный, настольный и т. Д.) И не оптимизируют использование вентрального пути, который понимает объекты в отношении пространственных отношений, что есть в дополненной реальности. потенциал сделать. Он объяснил, как люди тренируют только определенные области мозга при взаимодействии с некоторыми ограниченными графическими пользовательскими интерфейсами (GUI), которые мы создали (например, с командной строкой).

«Часть мозга, которая анализирует символическую информацию и язык, это области, которые представляют довольно небольшой объем мозга, и мы использовали их одни. По мере того, как мы цепляемся за несколько корковых модулей, по мере того, как вы все больше и больше взаимодействуете с умом, вы приближаетесь к этой асимптоте с нулевой кривой обучения, вычислительная парадигма будет похожа на «ущипнуть, чтобы увеличить» всю операционную систему ».

Грибец провел короткую демонстрацию Glassbrain, интерактивного трехмерного объекта мозга и объяснил, как профессор Адам Газзейли в лаборатории UCSF представляет тракты белого вещества. Он использовал сканирование ЭЭГ крышки ЭЭГ барабанщика Grateful Dead, когда он играл соло на барабанах. Они наложили цвет на DTI (Diffusion Tensor Imaging), чтобы создать его. Это было на семинаре AR в Стэнфорде на третий день GTC). Смотрите видео на YouTube ниже.

Он сослался на Леонарда Фогасси, который обнаружил F4 в мозге, который создает карты глубины объектов, к которым вы прикасаетесь, и где ваша рука находится рядом с объектом.

«Когда я провожу рукой по этому мозгу, я создаю внутреннюю трехмерную модель внутри своего мысленного взора этого объекта. Если какая-либо часть периферической нервной системы, ладонь имеет самую высокую плотность нейронов. Наивысшая степень свободы и точности управления достигается при непосредственном прикосновении к голограммам. Мы более глубоко понимаем объекты, почему мы это делаем. Вот почему мы выступаем за то, чтобы не использовать контроллер или мышь, которые отделяют две плоскости x y друг от друга и просто отделяют вас от этой тонкой настройки с множеством степеней свободы управления. «

Поскольку Glassbrain и Virtual Radiology с высоким разрешением, красочные и интерактивные графические интерфейсы являются только начальным доказательством концепции, демонстрирующей, как мы можем начать переосмысление того, как медицинские исследователи могут взаимодействовать с их пользовательским интерфейсом, помимо простого, черно-белого, плоского дизайна или серых отчетов. чтобы заставить наш разум течь.

Конечные заметки

Области медицинской визуализации и машинного обучения прошли долгий путь с момента взрыва ИИ в последние годы и все еще борются с различными проблемами, многие из которых не являются техническими и больше связаны со сбором данных и качеством данных. Слияние использования ИИ в текущих 2D-интерфейсах (доминирующее в большинстве обсуждений здесь за пределами VR и AR) с созданием большего количества программного обеспечения (инструментов) с открытым исходным кодом, открытых данных, а также интуитивно понятных пользовательских интерфейсов (VR и AR), медицинских исследования могут развиваться с помощью ИИ. Виртуальная радиология в VR и мета в AR - это всего лишь несколько примеров того, как просмотр медицинских изображений (даже без тонны искусственного интеллекта) меняет пользовательский интерфейс для создания новых парадигм анализа. Я с нетерпением жду возможности увидеть, какие новые пересечения между этими развивающимися дисциплинами могут сделать для дальнейшего продвижения исследований в области медицинских технологий.