World Action Planner：基于动作条件世界模型的泛化决策

摘要

构建面向多样应用的泛化智能体仍是一项根本性挑战。基于模仿学习的策略虽能在特定训练环境中取得成功，却常常难以泛化到新场景与新任务。在本工作中，我们提出World Action Planner，这是一个机器人规划系统，它利用视觉语言模型（VLM）的推理能力与多任务位姿-图像条件世界模型的物理锚定能力。该系统使智能体能够提出初始动作计划，并在想象的世界模型推演上进行推理，通过优化与搜索迭代改进这些计划。我们证明，该方法在组合任务、新布局及零样本泛化场景中均取得更优性能，显著超越VLA与WAM等最先进的端到端策略模型。项目网站：worldactionplanner.github.io

World Action Planner：基于动作条件世界模型的泛化决策：论文配图 — 图 1：我们引入了 World Action Planner，这是一个规划系统，代理通过世界模型想象推理和完善其行动计划，推广到新场景并在测试时解决新任务。