PAI-Studio：通过摄像机感知运动替换电影视频背景

我们推出了 PAI-Studio，这是一种新的参考条件视频合成任务，它解决了电影背景替换中长期存在的挑战：生成与前景运动对齐的动态背景，同时保留前景身份，匹配参考场景外观，并通过真实的前景重新照明实现全局一致的照明。现有的开源系统和商业 API 无法同时确保运动一致的背景生成、高保真前景重新照明和前景身份保留，通常会导致静态背景、不一致的边界和明显的合成伪影。为了弥补这一差距，我们以 Diffusion Transformer 视频主干为基础，并将问题重新表述为上下文条件生成任务。通过双向注意力，我们的模型在统一的架构中联合捕获前景动态和背景参考信息。我们进一步构建了一个来自高质量电影和在线视频的 30K 规模的数据集来支持这项任务。广泛的评估表明，我们的方法明显优于现有的开源和商业 API 解决方案。