GeRM：从物理真实感到照片真实感的生成渲染模型

虽然基于物理的渲染 (PBR) 模拟光传输来保证物理真实感，但实现真正的照片级真实感渲染 (PRR) 需要大量的时间和劳动力，并且仍然难以捕捉现实世界中棘手的丰富性。我们提出了 GeRM，第一个多模式生成渲染模型，以弥合 PBR 到 PRR (P2P) 之间的差距。我们通过学习分布传输向量 (DTV) 场来指导生成过程来制定此 P2P 转换。为了实现这一目标，我们引入了一个多条件 ControlNet，它在 G 缓冲区、文本提示和增强区域提示的引导下合成 PBR 图像并逐步将其转换为 PRR 图像。为了提高模型对文本提示驱动的图像分布变化的把握，我们提出了一种残差感知传递机制，将文本提示与相应的目标修改区域相关联，从而更清晰地定义增量组件更新。为了监督这个传输过程，我们引入了一个多智能体视觉语言模型框架来构建一个专家引导的成对传输数据集，名为 P2P-50K，其中每个配对样本对应于 DTV 领域中的一个特定传输向量。大量实验表明，GeRM 可以合成高质量的可控图像，并且在各种应用（包括 PBR 和 PRR 图像合成和编辑）中都优于最先进的基线。