Здравствуйте, меня зовут Нишанк, и добро пожаловать в серию ДОКУМЕНТЫ 101, в которых мы обсудим новые интересные исследования, проводимые в области машинного обучения и искусственного интеллекта!
Я хотел бы поблагодарить Two Minute Papers и Károly Zsolnai-Fehér за то, что познакомили меня с этой статьей через их канал YouTube.
Какого черта?
В век камер для смартфонов фотография при слабом освещении просто необходима. Все флагманские телефоны поддерживают фотосъемку при слабом освещении, но, как вы, наверное, заметили, результаты не так хороши.
Это связано с тем, что они в основном используют традиционные методы шумоподавления и устранения размытости, которые эффективны для удаления некоторого шума, но терпят неудачу в экстремальных условиях, таких как темнота, что является большой проблемой.
Этот документ - решение этой проблемы.
Компьютерное зрение - это область искусственного интеллекта, которая вращается вокруг получения визуального ввода и либо осмысления полученного ввода, либо некоторого манипулирования данным вводом для получения желаемого результата. В документе, который нас интересует, рассматривается второй вариант использования.
В своей статье Учимся видеть в темноте исследователи Чен Чен (UIUC), Цифэн Чен (Intel Labs), Цзя Сю (Intel Labs) и Владлен Колтун (Intel Labs) предложили модель, которая позволяет видеть в условиях чрезвычайно низкой освещенности, почти сравнимых с темнотой, с использованием новых конвейеров обработки изображений. с помощью Сверточной нейронной сети.
Результаты поразительны!
Если вы сделаете снимок с помощью камеры без фотографии при слабом освещении (низкий ISO), он будет выглядеть примерно так:
Если щелкнуть ту же картинку камерой при слабом освещении, такой как на флагманских смартфонах, результат будет примерно таким, как показано ниже. Обратите внимание на зернистость изображения из-за фильтров масштабирования, таких как BM3D и более низкого ISO.
Теперь полностью сверточная сеть берет первое изображение и обрабатывает его, чтобы получить изображение ниже (да, я не шучу).
Чего ждать!
Модель здесь использует сквозную обученную полностью сверточную сеть, которая использует набор данных необработанных ночных изображений с короткой экспозицией с соответствующими эталонными изображениями с длинной выдержкой. Это делает получение результатов в экстремальных сценариях, таких как ночная съемка, очень простым и эффективным по сравнению с традиционными методами удаления шума и размытия.
Как обучается CNN?
CNN обучается на двух наборах изображений.
- Тускло освещенная (почти темная) сцена или снимок с короткой выдержкой в качестве входных данных.
- Соответствующая сцена с нормальным освещением или снимок с длинной выдержкой той же сцены, что и цель.
Нейронная сеть обучается на наборе данных, содержащем 5094 сырых изображения с короткой выдержкой и соответствующие им изображения с длинной выдержкой.
Поэтому, если вы хотите обучить сеть, вам нужно сначала щелкнуть фотографию при нормальных условиях освещения, которая будет использоваться в качестве целевой переменной для получения ошибки по сети.
Затем вам нужно будет щелкнуть фотографию той же сцены с низкой экспозицией, чтобы она выглядела темной. Это будет вводиться в сеть во время обучения.
Пара этих двух фотографий создаст пару (вход, выход) для сети, на которой она будет обучена для использования на тестовых изображениях при слабом освещении.
Обучение проводилось с использованием L1 loss и Adam Optimizer, что дало результаты исключительного качества и делало модель наиболее эффективной до сих пор!
Насколько это хорошо?
Эта модель ставит под сомнение традиционные методы устранения размытости и шумоподавления. Вот сравнение с традиционным шумоподавлением BM3D -
Вы сразу заметите разницу.
Если мы сравним производительность CNN с флагманскими мобильными камерами с использованием различных параметров, таких как выдержка и освещение, результаты могут вас удивить!
Рассмотрим сценарий, в котором в темной комнате зажигается 8 свечей, а на фотографии манекена разными камерами наблюдаются изменения, так как количество свечей каждый раз уменьшается вдвое.
Обратите внимание, как качество фотографии ухудшается в iPhone X и Google Pixel 2 по сравнению с Sony a7S. Это связано с тем, что, с одной стороны, камера Sony имеет более высокий ISO, чем обе мобильные камеры, мобильные камеры используют традиционные методы удаления размытости и шумоподавления для получения фотографий при слабом освещении из необработанных данных.
Теперь фото на обеих камерах смартфона почти темное, и очевидно, что они не смогли справиться в экстремальных условиях, например, в темноте.
Тем не менее, фотография на камеру Sony по-прежнему четкая, потому что, как вы, возможно, заметили, она ловко изменила время экспозиции с 0,8 секунды до 1,6 секунды, позволяя проникать большему количеству света и, следовательно, давать более качественные фотографии.
Это непрактично для камер смартфонов, так как это приведет к размытому изображению, поэтому это можно сделать только на дорогих высококачественных камерах, которые имеют лучшую отражающую линзу и высокоэффективный датчик.
Но давайте посмотрим, что произойдет, если мы уменьшим время экспозиции до 1/30 секунды, то есть насколько хорошо камеры работают при очень низкой освещенности и малой выдержке.
Как вы можете видеть на этом этапе, все камеры вышли из строя, и мы наблюдаем полную темноту. Это происходит по двум разным причинам -
- В мобильных камерах это произошло из-за того, что они используют традиционные методы устранения размытости и шумоподавления, такие как шумоподавление BM3D, которые не работают, когда количество света очень мало и не с чем работать.
- В камере Sony это произошло из-за меньшего времени экспозиции, поэтому в камеру попало меньшее количество света, что привело к темному изображению.
Но подожди. Можем ли мы сделать что-нибудь, чтобы получить лучшее изображение за 1/30 секунды выдержки и в условиях чрезвычайно низкой освещенности (‹0,1 люкс)?
Будьте готовы удивиться, ведь эта газета сделала именно то, что мы хотели!
Если необработанные данные датчика из приведенного выше изображения (с самыми темными фотографиями) с 1 свечой и низкой экспозицией подать в полностью сверточную сеть, мы получим результат, который будет выглядеть следующим образом!
Удивлен? Я тоже был!
Я надеюсь, что эта технология очень скоро будет реализована в камерах смартфонов, и вы начнете получать удовольствие от фотосъемки при очень слабом освещении, которую может предложить машинное обучение!
И в этом сила машинного обучения и нейронных сетей.
Подобные приложения мотивируют все больше и больше людей изучать машинное обучение и нейронные сети. Это точная причина появления ДОКУМЕНТОВ 101!
Не стесняйтесь оставлять в комментариях, что вы думаете об этой статье. Чтобы узнать больше о процессе, посетите сайт газеты.
Кроме того, в комментариях приветствуются предложения и благодарности по поводу ДОКУМЕНТОВ 101.
Что ж, на этой неделе и до следующего раза!
Прощай!
