Новый инструмент, способный произвести революцию в компьютерном зрении подводных изображений.

Скажем прямо: это не учебник по Photoshop! Несомненно, многие фотографы знают приемы улучшения качества подводных фотографий, и этого достаточно для человеческого глаза. Но для разработчиков алгоритмов машинного обучения для классификации и идентификации объектов на изображениях таких методов совершенно недостаточно. Я призываю всех, кто читает это, подумать об одном применении машинного обучения и компьютерного зрения в подводной съемке изображений и видео. Это сложнее, чем ты думаешь. Причина, по словам Дери Аккайнак и Тали Трейбиц, в том, что «в настоящее время не существует надежного алгоритма» для надежного удаления шума, присутствующего на водных изображениях…

…до настоящего времени.

В чем проблема?

Подводная фотография эквивалентна фотографии, сделанной в воздухе, но покрытой густым цветным туманом, под воздействием источника света, белая точка и интенсивность которого меняются в зависимости от расстояния. Современные модели улучшения подводной фотографии расширяют возможности моделей в регулярно наблюдаемых атмосферных условиях. Однако эти модели не учитывают сильное воздействие воды на свет. Знаете ли вы, что скорость света в воде примерно на 46,2 тысячи миль в секунду меньше, чем в воздухе?

Различные длины волн

Эти изменения скорости влияют на длину волны света и цвета, которые мы видим. Еще больше усложняет ситуацию тот факт, что тона, излучаемые объектами, являются простым отражением преломленного солнечного света. Аккайнак и Трейбиц стремятся преодолеть эту проблему, признавая, что наблюдаемые длины волн цвета являются функциями скорости, расстояния и исходного оттенка. Скорость света через воду постоянна, как и оттенок источника. Следовательно, если мы знаем точный оттенок объекта и расстояние до него, мы можем реконструировать формулу, которая дает наблюдаемый цвет. Во всяком случае, это теория. К сожалению, есть еще другие проблемы, которые необходимо учитывать.

Обратное рассеяние

Если вы когда-либо ездили в густом тумане, вы могли бы включить дальний свет, но быстро поймете, что усиленный свет скорее ослепляет, чем помогает. Это потому, что частицы воды в воздухе отражают больше света обратно к вам. То же самое происходит при съемке под водой, что искажает точность цветопередачи снятых фотографий. А по мере увеличения расстояния от фокального объекта интенсивность обратного рассеяния увеличивается.

Существует средство оценки обратного рассеяния под названием Dark Channel Prior (DCP), которое было разработано для получения изображений в условиях тумана. Идея DCP основана на следующем: « большинство локальных пятен на открытых изображениях без дымки содержат некоторые пиксели, интенсивность которых очень низкая, по крайней мере, в одном цветовом канале. Используя это предварительное задание с моделью изображения дымки, мы можем напрямую оценить толщину дымки и получить высококачественное изображение без дымки .

Преодоление препятствий

Аккайнак и Трейбиц предлагают модифицированную версию DCP, которая учитывает поглощение света и обратное рассеяние от воды. Однако формулы для этого требуют известного расстояния в качестве входной переменной, и было бы непрактично ожидать, что пользователи будут проводить такие измерения для каждого изображения. К счастью, специалисты в области фотограмметрии уже разработали методы решения этой проблемы. Например, если размер отображаемого объекта известен, то расстояние можно определить путем масштабирования.

Многообъективные камеры, например, в современных смартфонах, представляют собой потенциал для более элегантного решения с использованием видеограмметрии. Снимая одно и то же изображение с двух или более углов и используя известное расстояние между камерами, мы можем затем измерить глубину. (Помните ваши треугольники ASA из школьной геометрии?) Ваш телефон уже способен снимать эти измерения и производить вычисления в реальном времени. Конечным результатом является продукт, который может революционизировать компьютерное зрение для подводной фотографии и видеографии.

Для получения дополнительной информации о Sea-thru, включая будущую доступность алгоритма, перейдите на https://www.deryaakkaynak.com/sea-thru.