RGFVR：具有流匹配的参考引导人脸视频恢复

从退化的观察中恢复人脸视频具有挑战性，因为它需要同时恢复视觉保真度、时间一致性和主体身份。现有的方法通常要么是无参考的，当特定于人的面部细节丢失时可能会导致身份丢失，要么是特定于主题的，这限制了对看不见的身份的概括。我们提出了一种与主题无关、参考引导的框架，用于身份保留的人脸视频恢复。我们的方法将双模态感知描述身份调节引入到预训练的基于流的文本到视频生成器中，并采用两阶段训练策略来加强恢复过程中的身份指导。实验表明，我们的方法提高了恢复保真度、时间一致性和身份保留，在具有挑战性的视频降级（包括下采样、模糊、噪声和压缩伪影）下实现了卓越的性能。该代码位于：https://github.com/batuhanntosun/RG-FVR。