"Компьютерное зрение"

Этот ИИ убирает воду с подводных изображений!

Вы когда-нибудь задумывались, как будет выглядеть океан без воды? Недавно исследователи достигли этого с помощью алгоритмов компьютерного зрения!

Вы когда-нибудь задумывались, как будет выглядеть океан без воды? Удалите этот сине-зеленый оттенок подводных изображений, и при этом сохраните истинные цвета кораллового рифа?
Что ж, используя алгоритмы компьютерного зрения и машинного обучения, исследователи из Университета Хайфы смогли сделать именно это!
Давайте посмотрим, как это работает.

Объяснение техники

Подводная фотография - непростая задача. Это требует дорогих фотоаппаратов, освещения, всевозможного оборудования и большого количества навыков. Даже в этом случае вода, покрывающая объекты или животных, все еще имеет сине-зеленоватый оттенок на любых фотографиях или видео, которые вы будете снимать. К счастью для всех любителей подводного мира, исследователи из Хайфского университета смогли удалить воду с этих фотографий и видео с помощью компьютерного зрения и алгоритмов машинного обучения.

Они назвали свой новый алгоритм: Sea-thru. Он делает снимок из-под воды с таким же сине-зеленым оттенком и создает впечатление, будто оно было сфотографировано с воздуха, а не с воды! Этот цветной фильтр не только удаляется из воды. Он также устраняет визуальные искажения, вызванные движением света под водой, чтобы точно исправить как цвета, так и физические аспекты изображений.

Давайте погрузимся немного глубже всех энтузиастов машинного обучения, которым интересно, как работает этот алгоритм. Как я уже сказал, в качестве входных данных используется подводное изображение. Но вам больше не нужен даже дорогой набор источников света, поскольку для этого требуется необработанное изображение или даже видео с естественным освещением. Обычно это была большая проблема, которая полностью решается этим алгоритмом. Объекты, находящиеся далеко от источника света, не будут четко улавливаться камерой. Теперь они выглядят такими же четкими, как объекты, расположенные ближе к объективу, если задано расстояние.

Действительно, он принимает необработанные изображения RGB-D, где D обозначает расстояние или карту глубины между камерой и объектом, который мы хотим иметь четкое изображение. Эта карта глубины позже используется с необработанным изображением, чтобы выявить исходные цвета изображения путем вычисления ослабления каждой длины волны света.

Они сделали это, разместив на сцене объекты известных размеров на различных расстояниях, проанализировав эффект обратного рассеяния и восстановив их, используя информацию известной сцены. Затем он использует оценку пространственно изменяющегося источника света, вычисленную на этапе обучения модели, чтобы получить коэффициент затухания, зависящий от расстояния под водой.

Но это лишь половина работы, которую нужно сделать, чтобы получить цвета, соответствующие изображению, сделанному на поверхности моря. Также необходимо оценить обратное рассеяние, используя темные пиксели и их известную информацию о дальности.

Обратное рассеяние - это отражение световых волн, отражающихся от частиц в воде и попадающих в камеру, с учетом того, что подводная среда отклоняет их от исходного направления. Он освещает эти частицы воды и часто может загораживать объект. Чтобы найти это значение обратного рассеяния и обратить его, они начинают с разделения карты диапазона на 10 кластеров, охватывающих все возможные значения z, оцененные ранее. Затем, используя захваченное изображение и известное расстояние до объекта, они находят идеальную корреляцию по оси Z. После этого они могут проделать тот же процесс для всего изображения, оценивая обратное рассеяние на основе ранее вычисленной информации.

Остался еще один шаг, чтобы объяснить, как они могут найти коэффициенты широкополосного затухания и обратного рассеяния изображения RGB. Управляет как значением обратного рассеяния, так и информацией о сцене.

Это сложный расчет, подробно описанный в статье, но он в основном выполняется с использованием спектрального отклика камеры и оптического типа воды, которые они измерили ранее с помощью своей обученной модели.

Наконец, используя свою известную карту диапазона z, оцененную ранее, они могут уточнить эти коэффициенты, чтобы они подчинялись заданному z и улучшили окончательные результаты.

Это будет очень полезно для коралловых биологов и других экспертов в этой области, поскольку эта работа действительно направлена ​​на получение истинных цветов по сравнению с текущей улучшенной версией, которую вы можете найти с помощью Photoshop.

Полученные результаты

Теперь, когда мы увидели, как это работает, давайте посмотрим еще на некоторые результаты этой удивительной техники ...

Заключение и ссылки

Конечно, это был простой обзор этой недавней статьи.
Я настоятельно рекомендую прочитать статью, указанную ниже, для получения дополнительной информации.

Документ https://openaccess.thecvf.com/content_CVPR_2019/papers/Akkaynak_Sea-Thru_A_Method_for_Removing_Water_From_Underwater_Images_CVPR_2019_paper.pdf
Проект Matlab: https /blogs.mathworks.com/headlines/2020/01/20/computer-vision-algorithm-removes-the-water-from-underwater-images/?s_eid=psm_bl&source=15308

Если вам нравится моя работа и вы хотите поддержать меня, я буду очень признателен, если вы подпишетесь на меня на Medium.