论文
GeoCond:用于前馈 3D 重建的条件感知可靠性适配器
GeoCond: A Conditioning-Aware Reliability Adapter for Feed-Forward 3D Reconstruction
摘要
VGGT 等前馈 3D 基础模型可在一次传递中预测相机、深度和点图,但在低重叠、低视差和极端相对旋转的情况下可能会悄然失败。对这些因素的分层分析表明,这些失败是由几何条件控制的,并且很难被本地任意置信度所捕获。我们推出了 GeoCond,这是一种用于冻结前馈 3D 主干的轻量级可靠性适配器。 GeoCond 读取主干的预测几何形状并输出姿势级不确定性和细化门。在训练期间,可以通过帧排列轨道方差、标签可用时的地面真值姿态误差或来自未标记的独立姿态图的循环残差来对其进行监督。推理时,默认头只需要一个骨干通道和一个小的 MLP。在 VGGT 上,GeoCond 将分布外 (OOD) AUSE(稀疏误差曲线下的面积;越低越好)比原生置信度从 0.32 美元提高到 0.20 美元,将零样本转移到室外极端视图场景,并避免了统一应用捆绑调整导致的崩溃。在多个骨干网中,循环蒸馏变体提供了一种无地面事实的适应路线,包括排列方差在等变模型上消失的情况。相同的可靠性信号支持门控细化、姿态图加权、校准、管理和捕捉决策。可靠的前馈 3D 重建不仅需要预测几何形状,还需要知道何时应该信任该几何形状。