论文

Matisse:主动 3D 重建的证据空间推理

Matisse: Evidence-Space Reasoning for Active 3D Reconstruction

智能体系统Agent 规划

摘要

3D 重建系统如何在有限的计算预算下从局部视图获取并保留有用的信息来理解场景的几何形状?现有的主动视图采集方法通常会估计观察到的或实例化的几何形状的不确定性,限制了它们推理看不见的结构的能力,而长视野重建方法通常保留冗余的观察结果。我们引入了 Matisse,这是一个免训练框架,它通过利用预训练的生成 3D 模型提供的证据来统一主动重建和关键帧选择。 Matisse 根据与 3D 潜在标记相关的交叉注意证据来估计证据不确定性,并得出证据信息增益,以根据后验熵的预期减少来指导视图获取和关键帧选择。 Matisse 通过遮挡感知、对象平衡聚合支持多对象场景,并通过中间潜在变量传播不确定性,以避免规划期间的完全重建。相对于每个数据集上的最佳基线,Matisse 在 GSO30、YCB-V 和 Replica 上分别将切角距离缩短了 12.7%、3.8% 和 9.2%,并且在具有相同重建后端的 GSO30 上比最佳主动重建基线实现了 $1.50\times$ 端到端加速。在用于长视野重建的 GSO30 关键帧选择实验中,与 Stream3D 相比,Matisse 使用 14% 的输入视图实现了可比的倒角距离。