Большой набор данных для отслеживания взгляда, метод и приложение для надежной оценки взгляда в 3D
К надежной оценке взгляда
Это резюме исследования - лишь одно из многих, которые еженедельно распространяются в информационном бюллетене для ученых в области ИИ. Чтобы начать получать еженедельную рассылку, зарегистрируйтесь здесь.
Направление взгляда - важная подсказка для ведения беседы и других социальных взаимодействий. Это помогает понять намерения, желания, душевное состояние, интерес и внимание людей в социальной среде.
Способность точно оценивать направление взгляда человека также находит множество применений в вспомогательных технологиях для людей с физическими недостатками, взаимодействии человека с компьютером, дополненной реальности, виртуальной реальности, исследованиях поведения потребителей, анализе визуального внимания и т. Д.
В прошлом оценка взгляда производилась с помощью специального оборудования. Но благодаря методам, основанным на глубоком обучении, были достигнуты некоторые продвинутые шаги к полностью неограниченной оценке взгляда. Например, до сих пор исследователям удалось добиться высокой точности вариаций взгляда, позы головы и качества изображения. Однако такие проблемы, как получение высокоточных и разнообразных оценок данных взгляда, по-прежнему остаются.
Gaze360: Оценка физически неограниченного взгляда в дикой природе
В этой недавно опубликованной статье исследователи представляют подход, который поможет решить задачу оценки взгляда и сократить существующий разрыв в производительности. Во-первых, они описывают метод эффективного сбора аннотированных данных трехмерного взгляда в произвольных средах. Затем они используют этот метод для получения одного из самых больших наборов данных трехмерного взгляда, который они называют Gaze360. Следовательно, Gaze360 - это крупномасштабный набор данных для отслеживания взгляда и метод для надежной оценки трехмерного взгляда на неограниченных изображениях.
Он включает в себя видеоконтент по 238 объектам в помещении и на открытом воздухе с помеченным трехмерным взглядом в широком диапазоне положений головы и расстояний. По их словам, это самый крупный общедоступный набор данных в своем роде как по тематике, так и по разнообразию.
Модели оценки взгляда
Исследователи также обучают различные модели оценки трехмерного взгляда на наборе данных перед окончательной доработкой модели, которая однозначно принимает многокадровые входные данные и использует потери регрессии пинбольного шарика для квантильной регрессии ошибок, чтобы обеспечить оценку неопределенности взгляда.
Gaze360 был оценен по сравнению с традиционными наборами данных посредством сравнения производительности моделей между наборами данных. Мало того, исследователи затем идут дальше и показывают, как модель может быть применена к реальным вариантам использования, включая оценку фокуса внимания покупателя в супермаркете.
Почему это важно?
Эта работа в основном демонстрирует методологию, которую можно использовать для сбора данных аннотированного взгляда в нужном масштабе и использования их для создания большого и разнообразного набора данных, подходящего для глубокого изучения трехмерного взгляда по изображениям и видео. Его ценность демонстрируется посредством сравнения производительности между наборами данных по сравнению с тремя существующими наборами данных 3D gaze, а также через приложение для неограниченных невидимых изображений из видеороликов YouTube.
Как количественные, так и качественные результаты оценки показывают, что предлагаемый подход обеспечивает более высокую точность, чем современные методы, и устойчив к изменениям взгляда, позы головы и качества изображения.
Исследователи надеются, что применение модели и набора данных в различных областях поможет лучше использовать взгляд в качестве ориентира для улучшения понимания человеческого поведения на основе зрения. Я думаю, что эта работа имеет большое значение для улучшения существующей литературы и моделей по оценке взгляда и имеет значительный потенциал для достижения надежной оценки 3D взгляда.
Доступ к набору данных можно получить здесь: http://gaze360.csail.mit.edu/
Подробнее: Оценка физически неограниченного взгляда
