DynamicWAM：动态操纵中世界动作模型的双路径运动调节

动态操纵要求机器人推断目标运动并迅速响应，但现有的世界动作模型（WAM）通常仅以当前帧为条件并同步执行大型骨干网，限制了动态场景中的运动感知和响应控制。我们提出了 DynamicWAM，这是一种紧凑的 WAM，用于通过双路径运动调节进行动态对象操作。 DynamicWAM 引入了历史流调节，通过冻结的预训练视频 VAE 对时间对齐的光流帧与当前观察进行编码，以保留空间运动结构，同时将位移、持续时间、速度和加速度的运动学描述符注入到动作专家中，以提供运动幅度和时间。这两条互补的路径通过共同的世界行动关注而融合在一起。经过精炼的紧凑主干和基于实时分块 (RTC) 的异步执行进一步实现了响应控制。在 DOMINO 上，DynamicWAM 实现了 38.2% 的成功率和 53.2 的操作分数，优于所有评估的基线。在涵盖线性、圆形和复合目标运动的 12 项现实世界任务中，它实现了 46.7% 的平均成功率，比最强基线高出 22.9 个百分点。