论文
充满信心地记住:具有概率保证的时空记忆的不确定性量化
Remember with Confidence: Uncertainty Quantification for Spatio-temporal Memory with Probabilistic Guarantees
摘要
长视距机器人操作需要时空记忆来记录环境状态并调用它以进行下游推理。场景图和检索增强系统将 VLM 描述转化为具有丰富语义描述的持久 3D 实体。然而,VLM 字幕存在噪声且视点不一致,现有系统将它们视为神谕,没有机制来检测不可靠的存储描述。我们为多视图 VLM 内存引入了对象级语义不确定性:一个衡量以对象为中心的跨视图字幕语义分散度并识别语义上未解析对象的分数。然后,我们将不确定性分数纳入先进的空间语义记忆系统中,我们将其称为 UQ-DAAAM。 UQ-DAAAM 使用此分数,通过选择高质量视图并将生成的多视图标题融合到单个对象描述中,在固定查询预算下主动细化不确定对象。我们还得出概率保证,表明更高质量的候选视图(由我们的方法选择)更有可能减少不确定性。我们的实验表明,不确定性量化可以使具体的 4D 记忆系统更可靠、更有效。特别是,在 OC-NaVQA 基准上,UQ-DAAAM 比基线实现了更大的不确定性降低和更好的时空问答性能。