论文
Rolling-WAM:具有滚动想象力的世界行动模型
Rolling-WAM: World Action Models with Rolling Imagination
摘要
世界动作模型 (WAM) 将动作生成与机器人操作的未来视觉预测结合起来。然而,在每个重新规划周期完成联合视频动作去噪过程会导致大量延迟,延迟动作更新并限制闭环响应能力。我们提出了 Rolling-WAM,这是一种在连续的重新规划周期中分配联合去噪的公式。我们的方法以交错的噪声水平维护视频动作块的滑动窗口。在每个步骤中,滚动噪声调度完全对即将执行的动作块进行降噪,同时部分地细化更远的未来块。随着窗口随着新的相机观察而前进,保留的未来块继续其去噪过程。这会随着时间的推移分配计算成本,同时跨块边界承载不断变化的视觉动作上下文。对 LIBERO、RoboTwin 和现实世界的 Unitree G1 人形机器人的评估表明,Rolling-WAM 实现了有竞争力的操纵性能。通过消除从头开始对整个预测范围进行降噪的需要,它的稳态重新规划速度比标准联合 WAM 提高了 4.5 倍。