Разделение переднего и заднего планов всегда было огромной проблемой до появления нейронных сетей на основе обнаружения объектов. Пришлось использовать такие методы обработки изображений, как сегментация на основе цвета, сегментация на основе глубины и другие традиционные методы. Сегодня с помощью готовых моделей глубокого обучения стало очень легко замаскировать интересующую область и отделить передний план от фона.

Приложения: -

  1. Портретный режим с глубоким обучением
  2. Размытие фона при видеозвонках при работе из дома

Портретный режим с глубоким обучением

Портретный режим стал известен, когда изображения были захвачены с помощью цифровых зеркальных фотоаппаратов. В высококачественных цифровых зеркальных камерах есть возможность уменьшить фокусное расстояние на камере, чтобы камера могла снимать изображения с акцентом на объекты на небольшом расстоянии в сцене и с автоматическим размытием фона. Такие изображения стали очень известными, поскольку они автоматически увеличивают резкость объекта / объекта перед камерой.

Эта тенденция продолжилась, добавив к смартфонам две камеры для захвата информации о глубине. Основываясь на пороговой глубине, сегментировать интересующую область было очень легко. Портретный режим стал популярным на мобильных телефонах из-за двух камер, которые могут давать информацию о глубине.

С ростом популярности сетей, основанных на обнаружении объектов, портретный режим стал возможен без высококачественной зеркальной камеры или двух камер.

Давайте узнаем, как портретный режим работает без двойной камеры или высококачественной зеркальной камеры.

  1. Для начала нужна хорошая камера и предмет. Захватите изображение с хорошей фокусировкой без каких-либо искажений или явных шумов.

2. Получите изображение и передайте его через сеть обнаружения объектов и получите выходную границу переднего плана из сети предложений региона.

3. Разделите передний план и фон как два отдельных изображения.

4. Размытие фона и резкость переднего плана.

В итоге :-

Таким образом, можно создать портретный режим с помощью одной недорогой камеры.

Код доступен на гитхабе.

Https://github.com/sumedhvdatar/PortraitSegmentation

2. Размытие фона при видеозвонках

С COVID большинство людей во всем мире работали из дома. Работа из дома включала в себя несколько видеозвонков. Многие люди не любили показывать окружение или фон, на котором они работают, и хотели это скрыть. Команды для совместной работы и платформы для совместной работы, такие как zoom и microsoft team, выпустили функцию, в которой пользователь, включивший камеру, может размыть фон или, возможно, добавить другой фон. . Идея такая же, как объяснено выше.

Это ясно показывает, насколько мощными могут быть нейронные сети. С помощью простой фронтальной камеры ноутбука можно применить ту же технику, которая помогает многим людям во всем мире включить камеру и выразить то, что они хотят, и в то же время чувствовать себя очень комфортно.

Заключение

Вычитание переднего и заднего плана было лишь одним из применений глубокого обучения, точно так же глубокое обучение находит применение во многих различных направлениях. Все, что нужно сделать человеку, - это проявить немного творчества и применить глубокое обучение в нужном месте, и это окажет долгосрочное влияние на жизнь людей.

Источники:



Альфа-смешение с использованием OpenCV (C ++ / Python)
В этом уроке мы узнаем, как альфа-смешение двух изображений. Хотите наложить прозрачное изображение PNG поверх другого… Learnopencv.com



Автоматическая сегментация портрета для стилизации изображения Сяоюн Шэнь1 †, Аарон Херцманн2, Цзяя Цзя1, Сильвен Пэрис2, Брайан Прайс2, Эли Шехтман2 и Ян Сакс2 1 Китайский университет Гонконга 2Adobe Research