使用角色环境协调视频生成模型进行电影合成

电影合成旨在将绿屏角色融入新颖的环境中，同时保持物理和光度的真实感。以前的方法通常无法捕获角色与其周围环境之间复杂的双向交互，我们将其描述为角色到环境（C2E）物理交互和环境到角色（E2C）照明协调。为了解决这个问题，我们提出了一个端到端的视频传播框架，联合建模 C2E 和 E2C 交互，专门处理交互道具的挑战。我们的方法引入了具有 RGB-D 联合去噪功能的三掩模引导架构，以确保角色、道具和环境之间物理上一致的交互。我们进一步开发了一种高效的先验驱动数据管理管道，以构建高质量的重新照明对，而无需昂贵的渲染。最后，参考条件机制可以实现可控的环境合成和精确的道具更换。大量的实验表明，我们的框架在电影质量动态视频合成方面明显优于现有方法。