论文
具有可靠性意识的未来条件,可实现暂时鲁棒的机器人操作
Reliability-Aware Future Conditioning for Temporally Robust Robot Manipulation
摘要
机器人即将执行的任务的生成视频只有在描述了机器人实际所处的阶段时才是有用的指导。我们表明,时间错位可以将任务一致的生成的未来变成主动有害的指导。在 CALVIN 上,五帧提前转换几乎消除了生成 future 的好处,将成功率从 81.3% 降低到 54.8%,而没有 future 时成功率为 54.0%;强制实施的时间转移将其进一步降低至 34.2%,比无未来政策低 19.8 个百分点。我们引入了可靠性感知未来调节(RAFC),它将其视为控制问题而不是生成问题。在每一步中,RAFC 都会估计对接收到的剪辑的信任程度以及更喜欢哪个附近的时间假设,当两者都不适合时,会回落到静态分支,并且它仅从任务奖励中学习这两者,而无需转移标签或对齐监督。 RAFC 位于未来体验调节 (FEC) 的基础上,它通过任务基础、无机器人数字孪生推出和无掩模视频传播一次性构建剪辑。在故意离网相移和 速率不匹配,RAFC 大大提高了时间不匹配下的成功率。候选集合在接近对齐的情况下实现了大部分恢复,而学习可靠性比离网转移下相同候选银行的统一平均又增加了 7.0 个百分点。所获得的收益在评估的任务集上保持不变,并且在没有人强加的自然时间不匹配的 Franka 上保持不变,总体成功率从 26.7% 上升到 56.7%。所有资源都将公开。https://future-condition.github.io/.