以游戏速度生成世界渲染器

生成世界渲染器 AlayaRenderer 接收从物理引擎导出的结构化世界状态并合成 RGB 帧。与从文本/控制提示提示生成帧的模型不同，AlayaRenderer 保留场景结构而不改变底层的世界动态。这展示了交互式世界建模和用户可控游戏的另一种途径。然而，原始的AlayaRenderer对于实时部署来说计算量太大。本次技术报告介绍了AlayaRenderer-Flash，一款面向实时的生成式前向世界渲染器，将AlayaRenderer从0.56 FPS推升至31.54 FPS，达到了播放速度。 AlayaRenderer-Flash 将原始渲染器重新表述为几步自回归流模型，并引入轻量级精炼编解码器以实现高效的潜在编码和帧重建。它保留了教师模型的 G 缓冲区和文本提示界面，同时支持对无限长度的输入流进行连续渲染。我们在 G 缓冲流上评估 AlayaRenderer-Flash 的内容保存、时间一致性、跨窗口稳定性、提示可控性和运行时效率。我们的结果表明，AlayaRenderer-Flash 大大降低了推理成本，同时保留了教师模型的核心渲染功能。通过将 AlayaRenderer-Flash 与物理引擎集成，我们构建了一个以 30 FPS 运行的完全可玩的生成世界。