GO-Renderer：使用 3D 感知可控视频扩散模型进行生成对象渲染

从图像重建可渲染的 3D 模型是一项有用但具有挑战性的任务。最近的前馈 3D 重建方法在有效恢复几何形状方面取得了显着的成功，但仍然无法准确地对这些 3D 重建模型的复杂外观进行建模。最近基于扩散的生成模型可以使用参考图像合成对象的真实图像或视频，而无需显式建模其外观，这为对象渲染提供了有希望的方向，但缺乏对视点的精确控制。在本文中，我们提出了 GO-Renderer，这是一个集成了重建的 3D 代理的统一框架，用于指导视频生成模型在任意照明条件下的任意视点上实现高质量的对象渲染。我们的方法不仅可以使用重建的 3D 代理进行精确的视点控制，而且还可以使用扩散生成模型在不同的照明环境中实现高质量渲染，而无需显式地建模复杂的材质和照明。大量实验表明，GO-Renderer 在对象渲染任务中实现了最先进的性能，包括在新视点合成图像、在新颖的照明环境中渲染对象以及将对象插入到现有视频中。