Разница между CRF и полностью подключенным CRF?

Может ли кто-нибудь объяснить мне разницу между условными случайными полями и полностью связанными условными случайными полями для семантической сегментации? Пока я понимаю только то, что с CRF вы пытаетесь использовать два вида информации для улучшения маски сегментации:

  1. Интенсивность пикселей. Хорошей догадкой для границы между классами является интенсивность пикселей. Таким образом, мы можем взвешивать края объектов.
  2. Близость пикселей: для пикселей, расположенных близко друг к другу, существует высокая вероятность того, что они относятся к одному и тому же классу. Без этого мы интерпретировали бы ребра внутри объекта в экземплярах другого класса, например. фон.

Верны ли мои предположения? Верно ли это для CRF или полностью подключенных CRF или для обоих?

Спасибо!


machine-learning image-processing semantic-segmentation deeplab
person mAI    schedule 02.07.2020    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Вы отчасти правы, но я постараюсь уточнить и объяснить их различия.

Во-первых, условные случайные поля (CRF) — это графическая модель для классификации, в которой у вас есть два штрафа: один для классификации узлов (ваш пункт 1) и другой для ребер, где штрафуются несогласия соседних узлов (ваш пункт 2).

Для сегментации изображения обычно каждый пиксель рассматривается как узел в графе, а его соседние пиксели являются их соседями (4 или 8-соседями в 2D-изображении), веса ребер будут пытаться обеспечить соблюдение этих смежных пикселей. подобные этикетки. Полученный граф очень разреженный, а вычисление CRF выполняется быстро.

Когда CRF полностью связан, каждый узел находится рядом друг с другом, это делает вычисления намного более дорогими! Однако в [1] было обнаружено, что оптимизация может быть эффективно выполнена в графах изображений с гауссовскими весами ребер. В этом случае вы рассматриваете не только окрестности каждого пикселя, чтобы получить его класс, но и каждый другой пиксель изображения.

Вы можете найти больше информации об этом в [1].

[1] Кренбюль, П., и Колтун, В. (2011). Эффективный вывод в полностью связанных CRF с гауссовскими краевыми потенциалами. В Достижениях в области нейронных систем обработки информации (стр. 109-117).

person JoOkuma    schedule 31.07.2020