编码代理与世界模拟器一样好

世界模型已成为构建交互式模拟环境的强大范例，最近基于视频的方法在生成视觉上合理的动态方面展示了令人印象深刻的进展。然而，由于这些模型通常从视频中推断动态并以潜在状态表示它们，因此它们没有明确强制执行物理约束。因此，生成的视频卷展在物理上不合理，表现出不稳定的接触、扭曲的形状或不一致的运动。在本文中，我们提出了一个通过可执行模拟代码构建基于物理的世界模型的代理框架。该框架协调规划、代码生成、视觉审查和物理分析代理。规划代理将自然语言提示转换为结构化场景计划，代码代理将其实现为可执行模拟代码，视觉审查代理提供视觉反馈，而物理分析代理检查物理一致性。根据反馈迭代修改代码，直到模拟符合提示要求和物理约束。实验结果表明，我们的框架在物理准确性、指令保真度和视觉质量方面优于先进的基于视频的模型，可应用于包括驾驶模拟和具体机器人任务在内的各种场景。