RGBX-Next：从 G 缓冲区实现真实生成渲染

扩散模型在图像、视频和流生成方面取得了令人印象深刻的成果。然而，与传统的 3D 渲染相比，它们仍然缺乏对生成输出的精确控制。我们相信，一条可行的前进道路是使用生成模型作为以传统渲染的 G 缓冲区为条件的学习渲染器。我们引入了 RGBX-Next，这是一个用于正向和反向渲染的统一生成框架，它允许从图像、视频和流估计 G 缓冲区，并从 G 缓冲区渲染逼真的图像、视频和流。我们的主要贡献是将扩散 Transformer (DiT) 模型微调为生成式正向和反向渲染器的通用方法。我们表明，生成的模型在现实生成渲染和内在分解方面都实现了高质量。我们将公开所有模型。我们相信本文提出的设计原则将有利于未来可控生成正向和反向渲染的研究。