论文

长视野技能接缝处的观察空间转移的诊断和恢复

Diagnosing and Recovering from Observation-Space Shift at Long-Horizon Skill Seams

模型评测智能体系统应用与实践Agent 动作执行与治理鲁棒性、公平性与可信度评测机器人

摘要

长视野机器人操作通常是通过链接独立训练的技能来构建的。尽管每个技能在孤立时都是可靠的,但当技能被链接时,性能会急剧下降:每个下游技能必须从其前一个技能留下的状态开始,而不是从其训练分布开始。我们研究这种故障模式,即观察空间转移(OSS),并探究是什么导致了这些技能接缝故障。使用特权模拟器重置,我们发现主要转变来自移位的场景状态(例如,打开的抽屉或早期技能留下的次要物体),而不是来自机器人的关节配置或下游技能操纵的物体。为了测试这种诊断,我们构建了一个完全学习的检测-恢复-恢复系统:任务进度监视器检测停顿,学习的策略恢复移位的场景组件,并且Seam-Robust微调让技能恢复。它修复了每个测试替代方案失败的接缝,我们将其视为诊断证据而不是通用方法。在 BOSS-44 基准测试中,系统 将全链成功率从 7.6% 提高到 26.5%,比基本策略提高了 3.5 倍,比特权恢复预言机提高了 51%,而 best-of-K 重采样、扩散策略和世界模型基线无法从评估的接缝状态中恢复。在运行微调 $π_{0.5}$ 策略的真实 Franka 手臂上,同一监视器受到外部摄像头可观测性的限制,但关闭环路仍然可以恢复一些其他终端故障,从而激励手腕和抓手感应。这些结果表明,通过在恢复策略之前恢复场景比从脱离支持状态重试可以更好地解决一些长期组合失败问题。