Worldscape-MoE：用于可扩展异构动作控制的统一专家混合世界模型

世界模型正在迅速成为实体智能和交互式代理的核心基础设施：它们提供可控的模拟器，代理可以在其中感知、行动、预测和获取可扩展的体验。然而，当前的视频生成世界模型仍然围绕孤立的控制接口进行组织，例如摄像机轨迹、机器人动作或手关节信号。这种碎片化日益成为扩展瓶颈。核心挑战不是缺乏可控生成器，而是缺乏一个统一且可扩展​​的学习框架，该框架可以吸收异构动作监督，同时保留世界动态的共享模型。在这项工作中，我们介绍了 Worldscape-MoE，这是一种基于 Diffusion Transformer 构建的专家混合世界模型，用于可扩展的异构动作控制。我们的主要观察是，不同的控件为同一底层世界指定了不同的接口：尽管它们的表示不同，但它们限制了共享的物理规律、场景动态和交互语义。 Worldscape-MoE 通过模态感知控制注入、共享和特定于控制的专家以及支持不断扩展新行动模态的渐进式 MoE 调整策略来实施这一观察。运动、机器人操作和以自我为中心的手控制等方面的实验表明，异构监督提高而不是干扰个体的控制能力。 Worldscape-MoE 在 WorldArena 上取得了出色的成果，改进了运动和手动控制指标，展现了强大的分布外泛化能力，并在集成额外的控制数据和专家时展示了扩展行为。