Android: Google Mobile Face Vision API + дополненная реальность

Я новичок в AR и Mobile Face Detetcion API. Хочу изучить эти поля.

У меня есть идея, которая будет накладывать анимационную наклейку на левую или правую щеку после того, как обнаружение лица будет выполнено с помощью Google Mobile Vision API - Обнаружение лиц.

Есть несколько вещей, которые мне нужно знать от сообщества:

  1. Возможно ли использование API мобильного зрения ?. Если возможно, могу ли я предположить, что AR можно использовать для наложения анимированного изображения стикера на лицо / щеку путем обработки кадра / растрового изображения лица, которое мы получаем из API обнаружения лиц?

  2. Я знаю, что есть openCV, который хорош для обработки изображений, но хотел бы узнать об API мобильного зрения (обнаружение лиц) для реализации этой идеи.

  3. Более того, какие-нибудь AR SDK, библиотеки, наборы инструментов, с помощью которых можно сделать наложение изображения на лицо?

  4. Дорожная карта для Google Mobile Face API?

Помощь оценена!


android face-detection android-augmented-reality android-vision
person user755499    schedule 14.10.2016    source источник
comment
Это вы ищете hackernoon.com/?   -  person Jitesh    schedule 14.10.2016
comment
@Jitesh Спасибо за ответ. Да кое-что на это похоже. Кроме того, можем ли мы обнаружить зубы? Я не нашел ни одного ориентира, представляющего числа для зубов, похожих на щеку, например 7   -  person user755499    schedule 17.10.2016

Ответы (1)


arrow_upward
1
arrow_downward

Да, это возможно через Mobile Vision API.

Все, что вам нужно сделать, это определить ориентиры на лицах на вашем изображении с помощью API распознавания лиц и наложить растровое изображение на определенные ориентиры для обеих щек.

Левая щека представлена ​​цифрой 1, а правая щека - цифрой 7.

for (Landmark landmark : face.getLandmarks()) {

        int cx = (int) (landmark.getPosition().x);
        int cy = (int) (landmark.getPosition().y);

        if (landmark.getType() == 1 || landmark.getType() == 7) {
            canvas.drawBitmap(stickerBitmap, cx, cy, null);
        }
    }

Подробнее об этом вы можете прочитать в моей статье здесь.

person moyheen    schedule 14.10.2016
comment
Большой. Спасибо за ответ. Кроме того, можем ли мы обнаружить зубы? Я не нашел ни одного ориентира, представляющего число зубов, похожих на щеку, например, 7? - person user755499; 17.10.2016
comment
На данный момент вы не можете обнаружить зубы, но вы можете определить, улыбается ли лицо или нет, и я думаю, что вы можете рассчитать положение зубов на основе этого. - person moyheen; 17.10.2016