论文
TIGER:驯服身份、几何和生成先验以实现高质量人脸视频恢复
TIGER: Taming Identity, Geometry, and Generative Priors for High-Quality Face Video Restoration
摘要
面部视频恢复(FVR)旨在从降级的输入中恢复高保真面部视频,同时保持跨帧的身份和语义一致性。现有的方法往往难以同时解决三个关键挑战:身份转变、观点纠缠指导和感知现实主义。为了解决这些问题,我们提出了 TIGER,这是一种结构化的三先验融合框架,可以驯服身份、几何和生成先验,以实现高质量的 FVR。具体来说,首先通过将主题区分性嵌入注入到潜在空间中来建立身份先验,有效地锚定主题的身份以防止严重退化。然后,为了为动态视频提供时间上一致的结构指导,TIGER 通过将 2D 参考线索提升到解开的 3D 参数空间中来构建几何先验,通过跨源参数融合创建几何锚点。此外,为了在不影响真实性的情况下实现最大效率,我们通过一步校正流程利用视频生成模型的生成先验。我们进一步设计了渐进的三阶段训练优化策略,细化结构保真度、纹理重建和分布级真实性,以确保稳健的优化。我们还构建了一个大规模的 FVR 数据集,以促进稳健的训练和标准化评估。大量实验表明,TIGER 在身份保真度和时间稳定性方面均实现了最先进的性能,提供了高质量、高效且身份一致的 FVR。项目页面:https://yzhoulv.github.io/Tiger/。