Как превратить ваш телефон в настраиваемую камеру наблюдения с помощью шаблона обнаружения объектов Snapchat с помощью мощного Snap ML.
Прежде всего, для тех из вас, кто не знает о Lens Studio.
Lens Studio позволяет создавать, публиковать и делиться линзами с миллионами пользователей Snapchat по всему миру. Lens Studio — это бесплатное программное обеспечение, позволяющее каждому стать создателем объективов!
Если вы ищете интересный проект выходного дня, обратите внимание на Lens Studio!
Это гифка видео, которое я снял возле своего дома. Это эксперимент по созданию объектива, который делает снимки всякий раз, когда объектив улавливает птицу.
Это может быть интересно орнитологам и фотографам дикой природы для съемки птиц крупным планом без участия человека.
С помощью этого метода обычная камера с Snapchat может делать снимки именно тогда, когда камера вычитает птицу. Это эффективно, потому что при использовании этого метода машинного обучения не будет проблем с хранением. Так как старый метод предполагает запись до тех пор, пока память не выйдет из строя. Кроме того, можно сэкономить значительное время автономной работы, поскольку не используется непрерывный процесс записи.
Используя следующий метод, который описан ниже. Мы можем создать ряд линз, используя Lens Studio и Google Colaboratory для обнаружения различных объектов, которые присутствуют в базе данных COCO.
Список объектов, которые можно отслеживать с помощью классов COCO, приведен ниже.
Вы можете проверить доступные данные здесь: http://cocodataset.org/#explore
COCO имеет 80 категорий:
человек, велосипед, автомобиль, Мотоцикл, самолет, Автобус, поезд, грузовая машина, лодка, светофор, пожарный гидрант, знак СТОП, Парковочный счетчик, скамейка, птица, Кот, собака, Лошадь, овца, Корова, Слон, медведь, Зебра, жираф, рюкзак, зонтик, сумочка, галстук, чемодан, фрисби, лыжи, сноуборд, спортивный мяч, воздушный змей, бейсбольная бита, бейсбольная перчатка, скейтборд, доска для серфинга, теннисная ракетка, бутылка, бокал для вина, кружка, вилка, нож, ложка, миска , банан, яблоко, бутерброд, апельсин, брокколи, морковь, хот-дог, пицца, пончик, торт, стул, диван, растение в горшке, постель, обеденный стол, туалет, телевизор, портативный компьютер, мышь, пульт дистанционного управления, клавиатура, сотовый телефон, микроволновая печь , духовка, тостер, раковина, холодильник, книга, часы, ваза, ножницы, плюшевый мишка, фен, зубная щетка.
Теперь перейдем к технической части,
Начните с руководств по обнаружению объектов, с которых можно начать:
Предпосылки:
Для создания модели вам понадобится
- Код обучения машинному обучению: код, описывающий, как обучается модель (иногда его называют блокнотом — загрузить блокнот с примером объектива Snapchat).
- Набор данных: набор данных, которые наш код будет использовать для обучения (в данном случае мы будем использовать набор данных COCO).
Обучение вашей модели
Я использовал Google Colaboratory для обучения модели.
Во-первых, нам нужно загрузить блокнот, чтобы мы могли обучить модель:
- Загрузите пример блокнота Snapchat Lens здесь.
После этого откройте Google Colaboratory
Перейдите к файлам -> Загрузить блокнот и перетащите блокнот Python, который мы скачали ранее, в область загрузки.
В этом случае мы узнаем Птицу. Вы можете узнать все, что захотите, в классах кокоса.
В разделе Глобальные переменные для обучения Название
Там будет переменная с именем OBJECT_LABLES_UNION, это переменная, отвечающая за получение наборов данных, необходимых для нашей модели.
В нашем случае мы можем указать Bird как элемент массива
Затем на шаге «Проверить прогнозы обученного детектора» измените URL-адрес образца переменной изображения на URL-адрес изображения птицы, который вы загрузите на следующем шаге.
После загрузки вашей модели Bird в вашу папку. Вы получаете URL-адрес птицы путем копирования пути
Теперь мы нажимаем Runtime, затем Run all.
Когда это будет сделано, файл ONNX будет сгенерирован под
Контент-›centernet_model
Загрузите файл det.onnx, это файл модели, который будет распознан Lens Studio.
Теперь мы открываем Lens Studio и открываем шаблон обнаружения объектов, шаблон предназначен для обнаружения автомобилей.
Затем нажмите на контроллер ML.
а здесь щелкните и перетащите модель det, которую мы обучили для птиц
Теперь мы можем скрыть другие графические элементы, такие как загрузчик, подсказка и другие компоненты.
Затем, когда вы отправляете объектив на свой телефон, объектив начинает помещать ограничивающую рамку, как только обнаруживается птица.
Некоторые другие интересные шаблоны машинного обучения
Жесты рук, которые можно отслеживать для запуска события.
Шаблон классификации и сегментации лицевых масок:
Линза ластика для рук:
Мы создаем линзу, используя Hand Tracking, чтобы очистить экран от грязи.
Да и нет Объектив:
Объектив, который определяет, кивает ли пользователь «да» или качает «нет».
Инверсная кинематика — создание Lens Studio:
Распознавание тела для срабатывания эффекта линзы:
Онлайн-уроки в Lens studio можно посмотреть здесь…
https://support.lensstudio.snapchat.com/hc/en-us/community/posts/360012171886-Previously-On-The-Lens-Studio-Twitch-Stream-
Примеры проектов, отличных от шаблона Lens studio, можно найти здесь…
https://support.lensstudio.snapchat.com/hc/en-us/community/posts/360061521972-Download-Lens-Studio-Example-Projects
