- Надежная трехмерная оценка позы на уровне категории на основе синтетических данных (arXiv)
Автор: Цзяхао Ян, Вуфей Ма, Антянь Ван, Сяодин Юань, Алан Юйлль, Адам Кортылевски.
Аннотация: Получение точных поз 3D-объектов жизненно важно для многочисленных приложений компьютерного зрения, таких как 3D-реконструкция и понимание сцены. Однако аннотирование объектов реального мира требует много времени и является сложной задачей. В то время как синтетические обучающие данные являются жизнеспособной альтернативой, переход между реальными и синтетическими данными представляет собой серьезную проблему. В этой работе мы стремимся сократить разрыв в производительности между моделями, обученными на синтетических данных и небольшом количестве реальных изображений, и полностью контролируемыми моделями, обученными на крупномасштабных данных. Мы достигаем этого, подходя к проблеме с двух точек зрения: 1) Мы представляем SyntheticP3D, новый синтетический набор данных для оценки позы объекта, созданный из моделей САПР и дополненный новым алгоритмом. 2) Мы предлагаем новый подход (CC3D) для обучения моделей нейронных сетей, которые выполняют оценку позы посредством обратного рендеринга. В частности, мы используем пространственные отношения между функциями на поверхности сетки и контрастную схему обучения, чтобы направлять процесс адаптации предметной области. В совокупности эти два подхода позволяют нашим моделям конкурировать с современными моделями, используя только 10 % соответствующих реальных обучающих изображений, при этом превосходя модель SOTA на 10,4 % с порогом pi/18, используя только 50 %. реальных обучающих данных. Наша обученная модель также демонстрирует надежное обобщение для сценариев вне распределения, несмотря на то, что она обучена с минимальными реальными данными.
2. Усовершенствованная 6D-оценка позы для роботизированного сбора фруктов (arXiv)
Автор: Марко Костанцо, Марко Де Симоне, Сара Федерико, Чиро Натале, Сальваторе Пироцци.
Аннотация: В этой статье предлагается новый метод уточнения оценки позы 6D, полученной глубокой нейронной сетью на уровне экземпляра, которая обрабатывает одно изображение RGB и которая была обучена только на синтетических изображениях. Предлагаемый алгоритм оптимизации успешно использует измерение глубины стандартной камерой RGB-D для оценки размеров рассматриваемого объекта, даже если сеть обучается на одной CAD-модели того же объекта с заданными размерами. Улучшенная точность оценки позы позволяет роботу успешно хватать яблоки различных типов и значительно отличающихся размеров; это было невозможно с использованием стандартного алгоритма оценки позы, за исключением фруктов с размерами, очень близкими к размерам чертежа САПР, используемого в процессе обучения. Захват свежих фруктов без повреждения каждого предмета также требует соответствующего контроля силы захвата. Таким образом, параллельный захват, оснащенный специальными силовыми/тактильными датчиками, используется для обеспечения безопасного захвата с минимальной силой, необходимой для подъема фруктов без какого-либо соскальзывания и деформации одновременно, без знания их веса.
