论文
CausalSplat:在 3D 高斯分布中实现综合层次推理
CausalSplat: Towards Comprehensive Hierarchical Reasoning in 3D Gaussian Splatting
摘要
虽然 3D 高斯分布 (3DGS) 具有先进的开放词汇场景理解能力,但现有方法仍然局限于显式查询。他们努力解释隐含的意图、复杂的空间限制以及实际体现交互所需的常识推理。为了解决这一差距,我们引入了推理 3D 高斯分割的任务,并构建了两个基准:Causal-LERF 和 Causal-ScanNet。这些基准系统地评估常识、空间、可供性和反事实推理。评估表明,当前最先进的方法在这些推理挑战上表现不佳。因此,我们提出了 CausalSplat,一个将视觉语言模型与 3D 场景图集成的框架,以将显式结构感知与隐式逻辑推理分离开来。大量实验表明,CausalSplat 在我们的推理基准上实现了最先进的性能,同时在标准引用和开放词汇 3D 分割任务上显示出强大的通用性。项目页面:https://jiayuding031020.github.io/CausalSplat