论文
STAGE:诊断具身智能体从指令理解到动作执行的断层
STAGE: Diagnosing Semantic Transfer at Grounded Execution in Embodied Agents
摘要
具身语言基础需要的不仅仅是识别指令的指示对象:恢复的语义还必须控制代理暴露的动作。我们将这个缺失的环节研究为语义-动作间隙,其中指令语义是可恢复的,但在本机连续动作中表达较弱。我们引入了 SAT-Bench,这是一种固定观察反事实基准,它保持视觉场景和代理状态固定,同时仅更改指令语义。在 LIBERO 目标名称和基于像素的关系交换中,目标恢复率达到 100.0% 和 95.8%,而 OpenVLA 动作灵敏度仍仅为 6.8% 和 7.7%。在 1,000 个额外的成分和时间/程序反事实中,差距仍然存在,总体动作敏感性为 6.1%。隐藏状态、无阈值、跨策略和轨迹诊断进一步支持这种语义动作传输失败。我们引入 VISA,一个轻量级执行时接口,它将恢复的语义转换为 ALLOW、DEFER、目标一致性和验证选择决策。 VISA 将无效指令盲执行从 92.7% 减少到 2.8%,同时保留 94.0% 的正常命令,并且经过验证的选择进一步提高了目标一致的操作暴露,而无需更新底层策略。总体而言,具体语言评估应该衡量语义动作转移,而不仅仅是语义解析。