论文
MultiWorld:可扩展的多代理多视图视频世界模型
MultiWorld: Scalable Multi-Agent Multi-View Video World Models
摘要
视频世界模型在模拟环境动态以响应用户或代理的操作方面取得了显着的成功。它们被建模为动作条件视频生成模型,将历史帧和当前动作作为输入来预测未来帧。然而,大多数现有方法仅限于单代理场景,无法捕获现实世界多代理系统中固有的复杂交互。我们提出了 \textbf{MultiWorld},这是一个用于多智能体多视图世界建模的统一框架,可以精确控制多个智能体,同时保持多视图一致性。我们引入多智能体条件模块来实现精确的多智能体可控性,并引入全局状态编码器来确保不同视图之间的一致观察。 MultiWorld 支持灵活缩放代理和视图计数,并并行合成不同视图以提高效率。多人游戏环境和多机器人操作任务的实验表明,MultiWorld 在视频保真度、动作跟踪能力和多视图一致性方面优于基准。项目页面:https://multi-world.github.io/