Вы когда-нибудь задумывались о том, как все мы предоставляем отзывы на протяжении многих лет?
Обычно мы пишем заметку и помещаем ее в Dropbox, мы звоним по номеру их отзыва или отправляем им наши предложения по электронной почте.
Если бы у вас была возможность наблюдать за ежегодным флагманским мероприятием Globant UI Engineering Studio под названием «UI Next», вы бы увидели приложение, которое мы создали, чтобы наши гости могли оставлять отзывы с помощью жестов.
Давайте взглянем на небольшое видео, чтобы получить представление.
Мы сделали еще одно приложение, похожее на Калькулятор приседаний. Он помогает рассчитать приседания человека, выполняющего это упражнение перед ноутбуком.
Это стало возможным благодаря библиотеке PoseNet, построенной на платформе TensorFlow.
Чтобы дать вам краткое описание, TensorFlow - это платформа с открытым исходным кодом для машинного обучения, которая предоставляет вам целую экосистему инструментов для создания этих приложений машинного обучения.
PoseNet предоставляет нам предварительно обученные модели, необходимые для распознавания жестов пользователя. Эти предварительно обученные модели запускаются в нашем браузере, и это отличает PoseNet от других зависимых от API библиотек. Следовательно, нам не нужно отправлять наши личные данные на какой-либо внутренний сервер. Защита конфиденциальности - это то, что дает PoseNet преимущество перед другими библиотеками, зависящими от API.
Более того, любой, у кого есть настольный компьютер или телефон с приличной веб-камерой, может испытать эту технологию прямо в своем веб-браузере. Нам не нужны огромные серверные ресурсы, чтобы распознавать эти жесты. Мы можем обойтись минимумом того, что есть у нормальной машины.
Что на самом деле PoseNet делает для нас?
Как следует из названия, он оценивает позы для нас.
Оценка позы относится к методам компьютерного зрения, которые обнаруживают человеческие фигуры на изображениях и видео, которые мы передаем через нашу веб-камеру, так что она может определить для нас, где наш локоть, запястье или любой другой сустав тела отображается на изображении.
На изображении ниже показано, как PoseNet оценивает ключевые точки или позу пользователя в режиме реального времени.
PoseNet дает нам в общей сложности 17 ключевых точек позы, которые мы можем использовать, от наших глаз и ушей до колен и лодыжек.
Что делать, если изображение, которое мы предоставляем PoseNet, недостаточно четкое?
PoseNet дает оценку уверенности в том, насколько точно он способен распознать изображение или конкретную ключевую точку в этом изображении.
Как показано на изображении выше, человек 1 имеет показатель достоверности 0,8, тогда как менее визуально четкий человек 2 имеет относительно более низкий показатель достоверности 0,7. Это представлено как ответ JSON.
«оценка» обозначает оценку уверенности этого человека или конкретную ключевую точку. "x" и "y" обозначают соответствующие координаты этой конкретной ключевой точки на изображении.
Если у вас есть какая-то идея и вы хотите перейти к написанию кода, вы можете клонировать код отсюда, а затем перейти к файлу camera.js.
В этом файле вы можете увидеть следующий фрагмент кода, в котором происходят фактические манипуляции с ответами. Это то место, где вы должны проявить свой творческий потенциал.
То, что мы получаем от PoseNet, - это необработанная информация в формате JSON, но то, как мы визуализируем эти 17 ключевых точек и показатель уверенности и используем их в качестве разработчиков, зависит от нас.
Давайте построим из этого что-нибудь, что поможет людям в их повседневной жизни!
Справочные и кредитные ссылки
