Динамический граф CNN для обучения в облаках точек от Юэ Ван, Юнбинь Сунь, Цзывэй Лю, Санджай Э. Сарма, Майкл М. Бронштейн , Джастин М. Соломон

EdgeConv - это новый модуль нейронной сети, подходящий для высокоуровневых задач на основе CNN в облаках точек, включая классификацию и сегментацию. Привлекательным свойством EdgeConv является то, что он включает в себя информацию о локальном окружении, поскольку ее можно накапливать или периодически применять для изучения глобальных свойств формы.

EdgeConv фиксирует локальную геометрическую структуру, сохраняя при этом инвариантность перестановок. Он генерирует граничные элементы, которые описывают отношения между точкой и ее соседями, вместо создания точек непосредственно из встраивания.

EdgeConv разработан для лучшего захвата локальных геометрических функций и инвариантен к порядку соседей и, следовательно, инвариантен к перестановкам.

Подход

EdgeConv вдохновлен PointNet и сверточными операциями, но вместо работы с отдельными точками он использует геометрическую структуру, создавая локальный граф соседства и применяя операцию, подобную свертке, на ребре, соединяющем пару соседних точек. Таким образом, он обладает свойством инвариантности к переводу и нелокальности.

Здесь граф не является фиксированным, так как он динамически обновляется после каждого уровня сети, то есть k-ближайшие соседи (kNN) точки меняются после каждого слоя, который вычисляется из последовательности встраивания.

Что такое EdgeConv?

EdgeConv применяет операцию симметричного агрегирования по каналам ([]) к элементам ребер, связанным со всеми ребрами, исходящими из каждой вершины.

Краевые элементы определяются как Eij = H (Xi, Xj), где H - некоторая параметрическая нелинейная функция, параметризованная набором обучаемых параметров. H будет MLP для модели.

Таким образом, вывод EdgeConv в i-й вершине:

Где [] может быть суммированием или макс.

Функция края (h)

Выбор функции края имеет решающее влияние на свойства результирующей операции EdgeConv. Ниже приведены некоторые функции и их свойства.

Почему он назван Dynamic Graph CNN

Обновление динамического графика. Было показано, что эмпирически полезно пересчитать график в пространстве признаков, созданном каждым слоем, с использованием ближайших соседей. Таким образом, на каждом слое график обновляется с учетом ближайших соседей с использованием текущего пространства признаков.

Архитектура

Архитектура похожа на Pointnet, который также имеет пространственный преобразователь, который вычисляет глобальное преобразование формы. Есть две архитектуры для двух задач: классификация и сегментация.

  1. Классификация: состоит из 2 уровней EdgeConv (первый уровень использует 3 полностью подключенных уровня (64,64,64), а второй уровень использует общий полностью подключенный уровень (128)), за которыми следует операция объединения и 3 полносвязные слои для преобразования глобального объекта с получением оценки k-класса. Все слои включают ReLU и пакетную нормализацию.
  2. Сегментация: состоит из последовательности из 3 слоев EdgeConv, за которыми следуют 3 полностью связанных слоя, дающих оценку k-класса для каждой точки.

Пограничная функция: для каждого блока EdgeConv мы используем краевую функцию H (Xi, Xj) = H (Xi, Xj - Xi), где функция реализована как MLP и [] как max-pooling.

Значение K: для классификации авторы использовали k как 20, а для сегментации они использовали k как 30.

Обсуждение

EdgeConv - это новая операция облака точек, подходящая для высокоуровневых задач на основе CNN, таких как классификация и сегментация. Он дифференцируемый и может быть включен в существующую архитектуру. Он включает в себя локальную функцию, которую можно складывать или повторно применять для изучения глобальной функции. Он способен улавливать мелкозернистые геометрические свойства облаков точек.

Ссылка

  1. CNN с динамическим графом для обучения работе с облаками точек (Бумага)