Используйте Fritz AI, чтобы быстро создать модель сегментации и развернуть ее непосредственно в Lens Studio
С момента внедрения пользовательской интеграции машинного обучения в Snapchat многие разработчики и инженеры ИИ начали экспериментировать с платформой. Один из самых интересных аспектов работы с Lens Studio - это простая публикация пользовательского объектива и охват огромной аудитории.
Fritz AI ухватился за эту возможность и выпустил целую платформу, позволяющую дизайнерам и любителям быстро и легко обучать свои собственные модели машинного обучения.
В этой статье вы увидите пошаговые инструкции по созданию пользовательской модели машинного обучения с помощью Fritz Studio. Затем мы создадим линзу, которая будет сегментировать губы в реальном времени и дать вам возможность изменить их цвет. Мы будем использовать Fritz Studio для создания набора данных, аннотирования и обучения пользовательской модели сегментации.
Обзор
- Найдите и обработайте набор данных
- Аннотируйте набор данных в Fritz Studio
- Обучите готовую модель Lens Studio с Fritz
- Импортируйте свой проект в Lens Studio
- Вывод
Найти и обработать набор данных
Fritz AI дает вам возможность генерировать тысячи аннотированных изображений для обучения модели машинного обучения, но вы должны предоставить исходные изображения хорошего качества. Вот как начать:
- Найдите набор данных: загрузите не менее 20 портретных изображений разной формы, пола и цвета кожи. Unsplash - отличный источник высококачественных портретных изображений. Обычно я ищу коллекции и скачиваю их с помощью unsample.
- Обработка набора данных: чтобы Fritz создал снимок вашего набора данных, вам необходимо удалить фон. Я использую remove.bg, но многие службы предоставляют то же самое.
Аннотируйте набор данных в Fritz Studio
Это, наверное, самая утомительная часть всего проекта, но необходимая. Модель должна отличать «губы» от любого заданного изображения, поэтому важно аннотировать каждое исходное изображение.
Здесь происходит вся магия. Fritz AI будет создавать синтетические изображения на основе ваших исходных фотографий с некоторой встроенной формой увеличения данных, используя ваши аннотированные исходные изображения. Вы также можете отслеживать, сколько изображений было создано. Когда процедура будет завершена, вы получите электронное письмо. Сначала я решил создать довольно большой набор данных (10 000 изображений), так как из предыдущего опыта знал, что сегментация может быть сложной.
Я также изменил размер изображений переднего плана, поскольку, по моему опыту работы со Snapchat, сегментированный объект обычно находится ближе к камере, поэтому масштаб обучающих изображений должен имитировать реальную ситуацию. Это значение гарантирует, что исходные фотографии покрывают от 60% до 80% всех созданных изображений набора данных.
Как только снимок станет доступен, вы можете начать тренировочную задачу, выбрав снимок и количество часов для бюджета на обучение - Fritz AI отправит вам электронное письмо, когда обучение будет завершено. Если модель сходится до отведенных часов обучения, обучение будет прекращено. В этом сценарии создание модели заняло 4 часа 7 минут.
Импортируйте свой проект в Lens Studio
Fritz AI автоматически создаст шаблонный проект Lens Studio, готовый к использованию.
Отныне процедура аналогична проекту, описанному в этой статье, поэтому вы можете следовать нижеприведенным инструкциям:
Вывод
В то время как модель впечатляет, Lens далеко не на уровне производства. Лучший способ повысить уровень точности - увеличить количество исходных изображений. Кроме того, я бы потратил больше времени на поиск более качественных аннотированных изображений.
Я бы также продолжил добавлять больше исходных изображений, чтобы повысить точность модели и создавать все больше и больше высококачественных аннотированных изображений. Вы можете опробовать объектив на себе, используя снапкод ниже:
Спасибо, что прочитали эту статью. Если у вас есть какие-либо вопросы, не стесняйтесь присылать мне электронное письмо по адресу [email protected].
Примечание редактора. Heartbeat - это онлайн-публикация и сообщество, созданное авторами и посвященное изучению зарождающегося пересечения разработки мобильных приложений и машинного обучения. Мы стремимся поддерживать и вдохновлять разработчиков и инженеров из всех слоев общества.
Независимая редакция, Heartbeat спонсируется и публикуется Fritz AI, платформой машинного обучения, которая помогает разработчикам учить устройства видеть, слышать, ощущать и думать. Мы платим участникам и не продаем рекламу.
Если вы хотите внести свой вклад, переходите к нашему призыву участников. Вы также можете подписаться на нашу еженедельную рассылку (Deep Learning Weekly), присоединиться к нам на » «Slack и подписаться на Fritz AI на Twitter , где можно узнать обо всех последних новостях в области машинного обучения для мобильных устройств.
