Отделение сигнала от шума… Десять вопросов, которые следует задать компаниям с искусственным интеллектом, специализирующимся на медицинской визуализации.

На следующей неделе население Чикаго, штат Иллинойс, увеличится примерно на 50 000 человек. Да это правильно. Они примут участие в Ежегодном собрании Радиологического общества Северной Америки (RSNA), крупнейшем собрании рентгенологов (и поставщиков изображений) в мире. Исторически сложилось так, что поставщиками изображений были крупные производители ультразвуковых, компьютерных и магнитно-резонансных томографов, производители контрастных красителей и многие компании, которые предоставляют вспомогательные услуги и расходные материалы для рентгенологических практик.

В эту смесь добавьте новейших детей в блоке поставщиков, а именно компании искусственного интеллекта, которые будут утверждать, что могут определить возраст ребенка, глядя на кости его руки (что на самом деле делают рентгенологи), чтобы заменить рентгенолога в интерпретации изображений. . Возвышенное видение, если не сказать больше.

Эти новые стартапы (или выскочки, в зависимости от того, как на это посмотреть) будут находиться в Технических выставочных залах McCormick Place, однако шум вокруг ИИ и машинного обучения распространится далеко за пределы улиц Чикаго.

Итак, что вы делаете, чтобы сообщить специалистам по продажам змеиного масла ИИ от, казалось бы, дальновидных компаний, которые могут на законных основаниях помочь радиологам улучшить их вклад в здоровье пациентов? Вот список вопросов, которые я задаю продавцам на таких встречах. Этот список ни в коем случае не является исчерпывающим, поэтому используйте его как стартовую площадку, чтобы подумать самостоятельно:

«Что на самом деле делает ваше программное обеспечение?»; объясните мне, какие алгоритмы используются, и должны ли они рассматривать конкретные результаты визуализации для многих заболеваний или конкретный болезненный процесс, который может иметь много результатов визуализации?»

Это важное начало обсуждения. Остерегайтесь представителей (представителей), рекламирующих свои товары как некий революционный алгоритм(ы), способный вылечить рак. Искусственный интеллект лучше всего использовать для целенаправленных, актуальных с медицинской точки зрения клинических вопросов, а не для банальных устремлений. Большинство компаний будут использовать контролируемые модели машинного обучения, которые полагаются на «наземный» набор данных исследований изображений для обучения своих алгоритмов. Попросите их описать обучающую выборку, как они проходили валидацию (в разных клинических центрах) и каков был баланс положительных (наличие заболевания) и отрицательных («нормальных») исследований. Если их обучающие наборы данных смещены в сторону слишком большого количества положительных или отрицательных образцов, точность их алгоритмов значительно пострадает. Кроме того, если они попросят вас «сотрудничать» с ними, спросите их, нужны ли им клинические данные и данные изображений. Если в этом суть, уходи. Как только вы предоставите данные, вы не услышите о них.

"Расскажите мне о ваших основателях и руководящей группе, а также о ваших консультантах, особенно об экспертах в области медицины, с которыми вы работали над разработкой, обучением, проверкой и тестированием вашего программного обеспечения"

Есть много компаний, которые понятия не имеют о медицинской стороне визуализации. Скорее, они просто видят все как изображения и хотят найти наборы данных с открытым исходным кодом для разработки и обучения моделей машинного обучения. Они на самом деле работают с практикующими радиологами? Каковы их области знаний? Если у представителей пустые взгляды, когда вы спрашиваете их об этом, вежливо притворитесь, что вам звонят, и уходите. Они понятия не имеют о том, что делают.

"Какие методы машинного обучения вы используете в своем программном обеспечении?";

Если вы слышите что-то кроме «нейронных сетей», «глубокого обучения», «рекуррентных нейронных сетей», «сверточных нейронных сетей», то они используют устаревшие технологии. Если они упоминают такие термины, как «машины опорных векторов», «деревья решений» или другие термины, не включающие «нейронный» или «глубокий», то они просто используют высококлассные методы статистического моделирования, которые на самом деле ничего не «изучают». При использовании этих последних методов в искусственном интеллекте нет «интеллекта».

В дополнение к последнему вопросу спросите: «Расскажите мне о требованиях к оборудованию для использования вашего программного обеспечения? Это модель облачных вычислений с требованием подписки? Или моей группе нужно инвестировать в серверы (включая графические процессоры) и обученных ИТ-специалистов для их обслуживания? Подробно расскажите мне о поддержке программного обеспечения вашей компанией».

Приложения машинного обучения, особенно современные нейронные сети, требуют большой вычислительной мощности… МНОГО. Поэтому убедитесь, что вы точно знаете, что вы покупаете у них, а не потребности в инфраструктуре, на которые вам придется рассчитывать в бюджете.

"Есть ли в вашем программном обеспечении функции отчетности или аудита, которые позволяют мне видеть обоснование его решений?"

Это важно, так как большинство этих программ являются «черными ящиками», и никто, кроме ВОЗМОЖНО, специалистов по данным компании, на самом деле не знает, что на самом деле делает машина. Спрашивая об этом, вы сможете выделить поставщиков, с которыми вам следует продолжать общение. Примерами таких функций могут быть тепловые карты, которые показывают области изображения, где машина «увидела», или выделение определенного текста в отчете или медицинской карте с использованием обработки естественного языка (NLP).

«Где в системе рентгенологической информационной системы (RIS) — системы архивирования и передачи изображений (PACS) — электронной медицинской карты (EHR) работает ваше программное обеспечение? Является ли это полностью автоматизированной комплексной трубопроводной системой, требующей минимального участия рентгенолога? Является ли их интерфейс простым в использовании, который позволяет рентгенологу сообщать алгоритму о своих ошибках, тем самым повышая его точность?»

Эти вопросы помогут вам понять уровень интеграции их программного обеспечения с вашей существующей ИТ-инфраструктурой. Лучшее программное обеспечение, будь то ИИ или нет, работает в фоновом режиме, и пользователь не замечает его присутствия.

"Расскажите, на каком этапе процесса утверждения FDA вы находитесь и кто ваши инвесторы, в том числе сколько капитала вы привлекли и прошли ли вы финансирование серии A?"

Это скажет вам две вещи: серьезно ли эти люди относятся к своей компании и насколько вероятно, что они преуспеют, учитывая, что им нужен капитал, чтобы развивать компанию и сделать ее успешной. Кроме того, вы узнаете уровень разрешения FDA, который они стремятся получить. Посетите эту страницу, чтобы узнать больше об этом: https://www.fda.gov/AboutFDA/Transparency/Basics/ucm194438.htm

"Каковы ваши продажи на сегодняшний день и кто ваши текущие клиенты?"

Это даст вам представление об их текущем успехе и о том, скоро ли они исчезнут. Вы действительно не хотите покупать их программное обеспечение для искусственного интеллекта, а затем в следующем году они разорятся.

"Какие еще продукты/алгоритмы у вас есть в разработке? Сколько различных функций ИИ содержится в вашем программном пакете?»

Вы не хотите покупать программное обеспечение, которое находит только узлы в легких, а находит множественные аномалии с высокой точностью на рентгенограммах грудной клетки, а еще лучше — на рентгенограммах и КТ грудной клетки. В идеале вы также хотите, чтобы эти аномальные результаты были объединены с данными EHR о медицинском контакте пациента, включая жизненно важные органы, лабораторные данные и оценку врача (можно только мечтать!). Помните, что вы хотите максимизировать ценность как покупатель. Таким образом, поставщик действительно должен иметь комплексный пакет программного обеспечения, чтобы оно того стоило.

"Почему я должен покупать ваше программное обеспечение для искусственного интеллекта, а не программное обеспечение ваших конкурентов, которые утверждают, что делают то же, что и вы, но лучше? Каково ценностное предложение?»

Посмотрите, насколько хорошо они продают вам свой продукт и свое видение. Есть много ученых, занимающихся зелеными данными, которые хотят добиться успеха и выкупить свои компании Google и Amazon по всему миру. Но вы потенциальный клиент. Они должны максимизировать ценность для вас как покупателя, иначе у них будет только краткосрочный успех в продажах, но не будет устойчивости и, следовательно, не будет выкупа крупными технологическими гигантами.

Надеюсь, вы получите полезные и интересные ответы на эти и многие другие вопросы. Несмотря на пессимизм этих вопросов, я остаюсь осторожным оптимистом в отношении силы и ценности ИИ для революции в здравоохранении! В конце концов, ИИ — это удивительно мощная технология, но она аморальна и становится все более доступной для использования и манипулирования массами. Но, как и со всеми революционными технологиями, ее НАСТОЯЩЕЕ внедрение и распространение произойдет после большого цикла ажиотажа… и мы определенно находимся в нем сейчас!

Фалгун Х. Чокши, доктор медицины

Подпишитесь на меня в Твиттере @FalgunChokshiMD