论文

何时信任想象力:世界行动模型的自适应行动执行

When to Trust Imagination: Adaptive Action Execution for World Action Models

摘要

世界行动模型(WAM)共同预测未来的视觉观察和行动,但通常在重新计划之前执行固定数量的行动,无论想象的未来是否与现实保持一致。我们将自适应 WAM 执行制定为未来现实验证,并提出未来前向动态因果注意力 (FFDC),这是一种轻量级验证器,可以对预测动作、预测视觉动态、真实观察和指令条件语义进行推理。 FFDC 允许在计划保持可靠时继续执行,并在其有效性恶化时触发重新计划。我们将验证与混合视野训练相结合,以提高长视野轨迹覆盖范围。在 RoboTwin 上,FFDC-WAM 在干净和随机设置的评估方法中实现了最高的平均成功率。在随机化下,它比 Base-Motus 提高了 2.54 个百分点,同时将 WAM 规划调用减少了 69.10%,完成时间减少了 33.88%。值得注意的是,在 Unitree G1D 机器人上的六项实际任务中,FFDC-WAM 比 Base-Motus-LC16 平均成功率提高了 9.17%,同时将调用次数减少了 74.06%,完成时间减少了 51.31%。