Полные статьи можно найти здесь и здесь. Примечание. Я в основном скопировал основные моменты из этих статей. Я не написал ничего нового.

Обнаружение трещин
Для обнаружения трещин на бетонных или кирпичных конструкциях визуальный осмотр человеком является чрезвычайно трудоемким процессом.

На рис. 1 показана схема предлагаемого метода автоматического обнаружения трещин в бетоне. Система начинает со сбора изображений трещин в момент времени T1 для создания 3D-модели. Затем также были собраны изображения более поздних времен (т.е. Т2, Т3 и Т4), когда образовались трещины. Изображения из T1 были использованы для создания 3D-модели с помощью фотограмметрии на основе изображений. Чтобы устранить геометрические ошибки, 3D-модели в моменты времени от T2 до T4 были синтезированы на основе 3D-модели в момент времени T1, чтобы получить те же виды, что и в момент времени T1. Обнаружение трещин было выполнено для извлечения трещин из изображений. Эти извлеченные трещины позже используются для обнаружения изменений на этапе обнаружения изменений.

Архитектура глубокого обучения, используемая для обнаружения трещин
После синтеза изображений запроса и эталона можно обнаружить и локализовать трещины в изображениях с помощью интегрированной архитектуры CNN.

Рисунок 3 показывает более подробную архитектуру CNN, используемую в этом исследовании. Как показано на рисунке, ключевая роль сверточных слоев заключается в обнаружении локальных связей признаков из предыдущего слоя. Выходной результат карт объектов затем передается на слой активации ReLU.

Операция максимального объединения использовалась в системах машинного зрения по двум причинам:

(1) для устранения немаксимальных значений, что помогает сократить время вычислений для слоев, и (2) для операций понижения дискретизации для подобластей 2x2, чтобы уменьшить размер векторов промежуточных признаков. Фильтры складываются вместе, и полностью связанные слои затем можно использовать для вычисления оценок класса.

В предлагаемой системе выходные данные полностью связанного слоя становятся векторами входных признаков размером 2352 для классификатора SVM, как показано на рисунках 2 и 3. Классификатор SVM был применен на заключительном этапе предлагаемая система обнаружения трещин. Классификатор SVM использовался для замены слоя softmax в CNN. Основная цель SVM – найти гиперплоскость, которая отделяет наибольшую часть размеченного набора данных для двоичной классификации.

ЛОКАЛИЗАЦИЯ ТРЕЩИНЫ С ПОМОЩЬЮ CNN И SVM

Трещину можно локализовать с помощью методов CNN и SVM, как описано выше. В этой системе для обучения CNN и SVM использовалось 4000 изображений с трещинами и 6000 изображений без трещин. Все изображения имеют размер 64 x 64 пикселя. После обучения система обнаружения трещин может классифицировать изображения с трещинами или без них. Маленькие прямоугольники на рис. 3(а) указывают места трещин, а на рис. 3(б) показано исходное изображение трещин.

ИЗВЛЕЧЕНИЕ ТРЕЩИН

После того, как трещины были локализованы с помощью методов CNN и SVM, был использован простой метод пороговой обработки для получения некоторых линейных элементов, которые могут напоминать трещины. Затем области трещин из CNN и SVM объединяются с областями трещин из порогового метода для получения окончательных карт трещин на изображениях.

Синтез изображений
Изображения поверхности 3D-модели могут быть синтезированы по следующему соотношению:

где Is — синтезированное изображение; Kq — внутренняя матрица; Rq — матрица вращения; tq — вектор трансляции; Pr – это набор эталонных 3D-поверхностей.

Обнаружение изменений с помощью маски изменения
Маска изменения трещин теперь может быть создана путем вычитания синтезированных изображений с идентичными точками обзора. Используется следующее уравнение для создания маски изменений:

где B(x) — маска изменения; Iq – изображение запроса (реальное изображение из T2, T3 и T4); Это изображения, синтезированные из 3D-модели.

МАТРИЦА СМЕШАНИЙ
Точность масок изменения из системы можно сравнить с масками ручного изменения из следующих уравнений.

где TP является истинно положительным (наземная правда = 1, прогнозируемая метка = 1); TN является истинно отрицательным (наземная правда = 1, прогнозируемая метка = 1); FP является ложноположительным (наземная правда = 1, прогнозируемая метка = 0); FN является ложноотрицательным (наземная правда = 0, прогнозируемая метка = 1).

РЕЗУЛЬТАТЫ:

Маска изменения: Маски изменения трещины во время от Т2 до Т4 показаны ниже. Показан результат использования матрицы путаницы. Можно видеть, что в этом наборе данных может быть достигнута точность более 90% при сравнении масок изменений между предлагаемой системой и наземной истиной.

Как видно из таблицы выше, установлено, что точность смены маски с помощью предлагаемой системы составляет более 90%. Однако точность предлагаемой системы составляет всего около 60%. Отзыв, достигаемый системой, также приближается к 60%. Это может быть вызвано размытием изображения на синтезированных изображениях, и не все трещины были обнаружены предлагаемой системой.

Вывод:

Трещины были извлечены из реальных и синтезированных изображений, и результаты показывают, что точность предложенной системы обнаружения изменений составила около 60% по сравнению с масками ручных изменений. Точность предложенной системы составляет около 90%. Тем не менее данные, используемые в данной работе, были проведены в лаборатории, что может быть причиной высокой точности предлагаемой системы. Предлагаемый метод может потребоваться протестировать с изображениями, полученными из реальной среды, чтобы проверить его надежность.

Примечание. Основные моменты исследовательской работы опубликованы здесь. Моя миссия в этой статье — выделить интересные части документов.