GS-Agent：通过生成模拟创建 4D 物理世界

根据自然语言描述创建动态且物理逼真的 4D 世界既令人着迷又充满挑战。传统的计算机图形方法依赖于手动创建，需要大量的人力来微调材质、运动和视觉保真度。生成基础模型的最新进展激发了人们对学习从大规模数据生成此类 4D 世界的兴趣；然而，现有方法仍然难以确保物理合理性和可控性。在这项工作中，我们采取了不同的路径，利用基础模型构建一个代理系统，模拟人类传统上如何创建 4D 世界，同时实现整个过程的自动化。我们提出了 GS-Agent，这是一个端到端的多代理框架，它将物理引擎集成到循环中，以从自然语言生成现实、动态且可控的 4D 物理世界。受人类构建 4D 世界方式的启发，GS-Agent 将任务分解为实体管理，涵盖 3D 资产管理、材质调整、放置和运动控制以及渲染配置（包括相机和灯光操作）。具有不同专业知识的多个代理通过代码与物理引擎交互，寻求多模式反馈，并协作迭代构建与给定描述相符的 4D 世界。实验结果表明，GS-Agent 有效地将自然语言转换为多样化且物理上合理的 4D 世界，展示了液体、可变形物体和刚体之间丰富的交互，同时实现了电影摄影和灯光控制。我们设想 GS-Agent 作为 4D 世界生成新范式的基础，赋能创意内容创建和物理人工智能。项目页面：https://umass-embodied-agi.github.io/gs-agent/