Сегодня наиболее важные результаты эволюции искусственного интеллекта и машинного обучения возникают не в результате одного технологического прорыва, а в результате гениального синтеза технологий и методологий. В частности, данные в режиме реального времени, передаваемые с устройств Интернета вещей в алгоритмы машинного обучения, которые постоянно обновляют живые модели ИИ, теперь приносят впечатляющие успехи в здравоохранении, финансах, транспорте и неизбежно во всех областях человеческой деятельности. Как мы увидим, в частности, потоковая передача событий в реальном времени через Apache Pulsar в MLlib Apache Spark — это динамичная и мощная комбинация для построения моделей ИИ, которая может решать самые сложные задачи, связанные со сложными и объемными наборами данных.

Достижения ИИ для потоковой передачи событий в медицинских технологиях

В то время как приложения ИИ на основе потоковой передачи событий в настоящее время развиваются в инвестиционных и банковских исследованиях, транспорте и судоходстве, а также в сельскохозяйственной биоинженерии, мы сосредоточимся здесь на его впечатляющих преимуществах в здравоохранении. Медицинские технологии сегодня значительно продвинулись вперед в случаях использования, которые включают прогнозирование и диагностику рака молочной железы, наиболее частой и смертельной формы рака. Алгоритмы диагностики компьютерного зрения теперь превосходят радиологов-людей в раннем обнаружении опухолей на рентгеновских изображениях. Это буквально спасительный вариант использования приложений ИИ для потоковой передачи событий. Прогнозирование и диагностика рака молочной железы — это особые события в более широком применении потоковых приложений искусственного интеллекта и машинного обучения для прогнозирования состояния здоровья. Как это работает? Дельта потоков данных из источников, включая:

  • Датчики глюкозы и инсулина
  • Ингаляторы для астматиков
  • Мониторы коагуляции
  • Проглатываемые датчики
  • Кровяное давление
  • Записи пациентов обновляются в режиме реального времени по результатам лабораторных исследований.
  • Сенсоры данных сотовых, планшетов, мобильных приложений
  • Потоки сокетов IoT для больниц и клиник с датчиками IoT

…сходятся в конвейере потоковой передачи данных о параметрах, подаваемых на различные алгоритмы прогнозирования и диагностики ИИ. Например, Apache Pulsar передает наборы данных для медицинских приложений AI и ML, включая:

  • Алгоритм классификации маммограмм
  • Нечеткая искусственная иммунная система
  • K-классификатор ближайших соседей
  • Компьютерное зрение для классификации ядер клеток молочной железы (обучено на гистопатологических изображениях клеток молочной железы для прогнозирования рака молочной железы)
  • Алгоритм представления Гаусса-Ньютона для классификации рака молочной железы

В то время как мы сосредоточены здесь на применении приложений искусственного интеллекта для потоковой передачи событий в реальном времени в медицине, не менее полезные приложения в настоящее время развиваются в банковском деле и финансах. Оценка кредитного риска и прогнозирование банкротства — в равной степени вопросы жизни и смерти в бизнесе — в настоящее время развиваются невообразимыми ранее темпами, поскольку устройства IoT передают данные о транзакциях в режиме реального времени в алгоритмы обнаружения мошенничества и предоставляют полезную информацию для определения ключевых показателей эффективности.

Проблемы с приложениями искусственного интеллекта для потоковой передачи событий

Хотя может показаться, что единственными ограничивающими факторами нашего прогресса являются финансирование и человеческий капитал, в каждом уникальном направлении ИИ кроются проблемы. Каковы ограничивающие факторы сегодня? Продолжая наш пример системы прогнозирования состояния здоровья, выбор размера набора данных и параметров требует значительного внимания.

Когда набор датчиков IoT может генерировать выборочный пакет данных каждую секунду, наборы данных быстро растут и меняют контрольные показатели результатов с минут на часы. Здесь Apache Pulsar и Spark демонстрируют свой талант в работе с большими данными. Конвейеры из потоков сокетов должны быть проверены и соответствовать входным спецификациям модели. Кроме того, в настоящее время принято параллельно оценивать несколько типов моделей для оптимизации точности прогнозов. Инженеры по данным и эксперты в области знаний должны постоянно настраивать параметры и частоту пакетной выборки, чтобы повысить надежность прогнозирования.

В области медицины и банковского дела проблемы, возникающие со стороны регулирующих органов, являются ударом по математическим идеалам разработки моделей искусственного интеллекта. Проблемы соответствия и конфиденциальности иногда наносят смертельный удар блестящему гипотетическому золотому варианту использования. Однако проблемы конфиденциальности могут быть смягчены шифрованием и гарантированным ограниченным использованием записей. Другими словами, если медицинские записи пациентов могут быть зашифрованы и строго гарантированы для использования только при прогнозировании, преимущества могут однажды перевесить проблемы соблюдения. В любом случае эти и другие проблемы в конечном итоге означают, что каждому предприятию, занимающемуся ИИ, нужен в штате специальный специалист по данным или партнерская компания инженеров по данным, такая как Pandio.

Хостинг Apache Pulsar с поддержкой искусственного интеллекта Pandio

Преимущества живых моделей ИИ делают решение инвестировать в потоковую передачу событий в реальном времени для ИИ и машинного обучения убедительным. Примеры использования в здравоохранении и финансах доказывают, что живые модели ИИ необходимы для точного прогнозирования. Тем не менее, многие предприятия еще не готовы вкладывать средства и человеческий капитал в потенциально рискованное предприятие. К счастью, Pandio — это альтернатива, которая может защитить вас от риска. Учитывая сложность взаимодействия, есть неоспоримые преимущества в привлечении стороннего эксперта, такого как Pandio, который возьмет на себя большую часть затрат и технического бремени.

Pandio размещает Apache Pulsar как услугу и объединяет команду специалистов по данным и инженеров, которые уже преодолели проблемы потоковой передачи данных в реальном времени для приложений AI и ML. Огромные потоки данных в реальном времени от устройств IoT и других потоков сокетов, а также случайный лес методов ML — все это хорошо знакомая территория для ветеранов больших данных в Pandio. Используя все преимущества белой маркировки под поверхностью вашего отличительного пользовательского интерфейса, включая встроенную техническую поддержку, которую Pandio предоставляет вашим собственным разработчикам, Pandio Hosted Pulsar поглощает технические затраты и освобождает ваших разработчиков, чтобы они могли сосредоточиться на создании вашего лучшего в своем классе. применение.

Первоначально опубликовано на https://pandio.com 2 декабря 2020 г.