论文

SafeVantage:Vantage 感知内存可实现可靠的具体决策

SafeVantage: Vantage-Aware Memory for Reliable Embodied Decisions

上下文与知识上下文工程

摘要

部分可观察性下的可靠体现决策需要信息丰富的观察和足够的支持证据。然而,语义分数本身并不能揭示哪些观点证明某个主张是合理的,或者应该在哪里获取额外的证据。我们引入了 SafeVantage,这是一种有利感知的语义记忆和主动获取框架,它保留每个声明的支持视图、相机姿势和估计目标位置,保持积极支持与搜索覆盖范围不同。学习的候选可观测性模型使用基于声明的几何来预测可到达视点处的目标可见性。这些预测通过预期减少终端决策损失、考虑旅行成本和几何上不同的佐证来指导视图选择。然后,经过校准的头部会结合支持、空间一致性和覆盖范围来做出“是”、“否”或“弃权”的决定。我们根据类别存在基准评估 SafeVantage,该基准涵盖 232 个未见过的 ProcTHOR 房屋和每个方法和行动预算的 7,424 个配对剧集。与验证选择的等预算基准相比,SafeVantage 在 8 项和 12 项行动中分别实现了 24.7% 和 12.0% 的宏观 F1 收益,在两种预算下风险更低、答案率更高,在 8 项行动中差旅减少了 31.7%。等输入 HM3D 实验显示固定观测值下选择性风险较低,而受控 ScanNet 干预表明恢复支持视图可改善下游 VLM 答案。消融进一步支持候选可观察性对决策质量和获取效率的贡献。结果证明了主张级观点证据对于连接语义记忆、主动获取和可靠决策的价值。代码可在 https://safevantage.github.io 获取