Magic-W0：物理智能的结构化世界动作基础模型

世界动作模型（WAM）通过动作条件环境动力学增强机器人策略，但现有方法很大程度上依赖于未来观察重建或通用潜在预测，缺乏与动作生成紧密结合的结构化、面向控制的世界表示。我们引入 Magic-W0，这是一种世界动作基础模型，可以联合模拟结构化物理状态演化和连续动作。 Magic-W0 将交互表示为由当前状态、过渡和未来状态组成的结构化世界过渡。 Current State 将视觉语言环境与 Current 3D 几何相结合；过渡通过 3D 动作捕捉动作引起的三维变化来表示；未来状态由描述任务相关结果的未来语义表示。为了将预测和控制结合起来，我们提出了一种层对齐的世界动作交互架构，其中不断发展的动作假设决定了世界转变预测，而预测的世界表示不断地通知动作生成。 Magic-W0 经过大规模以自我为中心的人类操作、UMI、真实机器人和模拟数据的预训练，并通过预训练的视觉模型对几何、3D 运动和未来语义进行潜在监督。推理时间干预表明，结构化的世界表征系统地响应候选动作的变化，并且与动作相关的信息通过共享的 3D 表征传播到未来的语义预测中。在 RoboDojo-Sim 上，Magic-W0 的平均得分为 27.10，是对比 WAM 中最高的。在多个真实机器人任务中，它在利用有限的下游数据进行微调后也表现出了强大的下游性能，支持泛化和快速适应。