OGAM：通过VLA策略的基于对象的注意力监控将系统测试与运行时保证连接起来

基准测试将视觉语言操作 (VLA) 策略暴露给很少的规范指令，而详尽的部署测试是不可能的。我们引入了基于对象的注意力监控（OGAM），将系统测试与运行时保证联系起来：测试揭示了成功执行和失败执行之间的注意力分歧，OGAM 使用此信号来阻止超出有限套件的失败。我们通过动作模板和对象的成对组合生成基于场景的指令，并单独测试保留意义的释义。所有 87 个超出基准的案例都揭示了 OpenVLA、OpenVLA-OFT、UniVLA和 $π_{0.5}$ 中的问题行为：没有一个完成 24 条可行指令中的任何指令，而不可行或危险的请求也会触发行为替换。在每个动作查询中，我们通过对象掩码投射梯度加权视觉注意力，并按指令角色对其进行分组，以便在任务和策略之间进行比较。尽管速度存在差异，但动态时间扭曲使本课程与成功的参考保持一致；对成功事件的保形校准设置了持续偏差的提前停止阈值，标称假停止目标为 $α=0.05$。在四个策略中，OGAM 在 20 秒预算内以 5-12 秒的中位时间停止了 87-100% 的失败事件，观察到的误停止率为 3-5%，没有失败标记的训练。因此，有限测试可以识别出在故障完全显现之前支持在线干预的注意力模式。