Демократизация геометрического ИИ для сферических данных на 360°

Разблокировка ИИ для сферических данных 360°

В то время как ИИ в настоящее время является обычным явлением для стандартных типов данных, таких как структурированные, последовательные данные и данные изображений, применение ИИ сильно ограничено для других, более сложных форм данных. Эти более сложные наборы данных обычно демонстрируют нетривиальную геометрию.

Область геометрического ИИ, или геометрического глубокого обучения, появилась, чтобы распространить замечательные преимущества ИИ на эти более сложные — геометрические — наборы данных [1] (краткое введение в геометрический ИИ см. в нашей недавней публикации). статья"). Однако использование методов геометрического ИИ все еще находится в зачаточном состоянии, поскольку создание и развертывание геометрических моделей ИИ остается сложной задачей.

Демократизация геометрического ИИ

Существует несколько отличных библиотек и фреймворков для геометрического ИИ, в основном для методов геометрического ИИ на основе графов (как обсуждалось в этой статье). Однако эти библиотеки являются относительно низкоуровневыми, и для построения и обучения моделей перед развертыванием в производственной среде требуется опытный инженер по машинному обучению с опытом работы с геометрическим ИИ. Что касается других форм геометрического ИИ, значительный прогресс достигнут в передовых исследованиях, где общие библиотеки еще недоступны.

С помощью CopernicAI мы разрабатываем платформу с низким кодом для геометрического ИИ, чтобы неспециалисты могли легко подобрать подходы к геометрическому ИИ для своих собственных задач. Наш первый шаг в этом направлении — сделать доступными геометрические ИИ-модели сферических данных 360°.

Геометрический ИИ для сферических данных 360°

Сферические данные на самом деле очень распространены, они возникают во многих областях. Например, сферические данные могут возникать, когда наблюдения производятся в каждой точке сферической поверхности, такой как топографическая карта Земли. Однако они также возникают, когда наблюдения производятся по направлениям, например, панорамные фотографии и видео, снятые камерами с углом обзора 360 °, например. для виртуальной реальности, наблюдения или автономных транспортных средств. Другие приложения включают анализ реликтового света Большого взрыва в космологии или диффузионную магнитно-резонансную томографию в медицине и многое другое.

В Kagenova мы работаем над тем, чтобы раскрыть замечательный успех глубокого обучения для этих и других задач, связанных с данными со сложной геометрией, такими как сфера. Для сферических данных 360° стандартные методы ИИ неэффективны, и нам нужен геометрический ИИ, разработанный специально для сферической геометрии данных.

Большой прогресс был достигнут в разработке методов сферического ИИ для разблокировки этих приложений (как обсуждалось в наших предыдущих статьях здесь и здесь). Серьезной задачей является разработка методов, которые являются эффективными в вычислительном отношении и способны обрабатывать данные с высоким разрешением, такие как 360-градусные изображения с высоким разрешением.

В нашем исследовании мы добились значительного прогресса в этом направлении, сначала разработав общие эффективные компоненты [2], а затем внедрив подходы для поддержки входных данных с высоким разрешением [3]. Хотя поддержка входных данных с высоким разрешением открывает доступ ко многим приложениям, таким как задачи классификации, во многих настройках необходимо поддерживать выходные данные с высоким разрешением. В настоящее время мы работаем над поддержкой выходных данных с высоким разрешением и вскоре выпустим соответствующий документ, который откроет множество новых приложений для понимания изображений 360 °, таких как семантическая сегментация.

Теперь, когда наши методы геометрического ИИ для сферических данных совершенствуются, мы планируем сделать наши подходы и модели общедоступными для всех.

Inception360 для классификации изображений

Хотя работа над нашей платформой CopernicAI все еще продолжается, тем временем мы планируем сделать ряд сферических моделей ИИ доступными через AWS AI Marketplace.

Мы только что выпустили нашу первую модель Inception360 для классификации изображений 360°.

Это простая модель, использующая первоначальную архитектуру [4] для выполнения классификации ImageNet, то есть классификации 360-градусных изображений с использованием 1000 классов ImageNet. ImageNet может не предоставить наилучший набор меток классов для 360-градусной классификации, поскольку 360-градусные изображения захватывают больше контента, чем стандартные плоские 2D-изображения; тем не менее, он предоставляет знакомый набор меток классов для начала работы. В этой модели мы не используем наши последние разработки в области исследований и разработок, а предлагаем очень простую модель, позволяющую любому сразу приступить к классификации изображений 360°.

Вы можете найти Inception360 бесплатно на AWS AI Marketplace здесь. Блокнот, иллюстрирующий использование Inception360, доступен здесь.

Ниже мы иллюстрируем классификацию Inception360 на 360-градусном изображении (вне выборки). Рассмотрим следующее 360-градусное изображение дока и парусных лодок.

Inception360 возвращает следующие (в порядке пятерки лучших) классификации для этого изображения, которые очень хорошо соответствуют изображению:

dock, boathouse, gondola, schooner, yawl

Будущее (скоро появятся новые модели!)

Хотя методы геометрического ИИ могут раскрыть замечательный потенциал ИИ для сложных геометрических данных, они еще не получили широкого распространения из-за нынешних трудностей в построении, обучении и применении геометрических моделей ИИ.

С платформой CopernicAI мы намерены демократизировать геометрический ИИ для широкого применения для решения множества проблем, где существующие методы ИИ неприменимы. Нашим первым шагом в этом направлении является выпуск геометрических моделей ИИ для сферических 360-градусных данных на AWS AI Marketplace, начиная с Inception360 для классификации 360-градусных изображений. Следите за этим пространством, так как мы планируем выпустить ряд дополнительных моделей в ближайшее время!