论文

用于点云理解的基于变形的情境学习

Deformation-based In-Context Learning for Point Cloud Understanding

应用与实践视觉感知与空间理解

摘要

点云情境学习(ICL)的最新进展展示了强大的多任务能力。现有方法通常采用基于蒙版点建模 (MPM) 的点云 ICL 范例。然而,基于 MPM 的方法直接从蒙版标记预测目标点云,而不利用几何先验,要求模型仅通过 Transformer 从 词元级 相关性推断空间结构和几何细节。此外,这些方法还存在训练-推理目标不匹配的问题,因为模型学习使用推理时不可用的目标侧信息来预测目标点云。为了应对这些挑战,我们提出了 DeformPIC,一种基于变形的点云 ICL 框架。与依赖掩模重建的现有方法不同,DeformPIC 在特定于任务的提示指导下学习使查询点云变形,从而实现显式几何推理和一致的目标。大量实验表明,DeformPIC 始终优于以前最先进的方法,在重建、去噪和配准任务中,平均倒角距离分别减少了 1.6、1.8 和 4.7 个点。此外,我们引入了一个新的域外基准来评估未知数据分布的泛化能力,其中 DeformPIC 实现了最先进的性能。