论文
DuoMatching:图像教师边际监督增强少步视频蒸馏
DuoMatching: Joint-Marginal Distribution Matching for Few-Step Video Generation
摘要
流式视频生成受益于分布匹配蒸馏(DMD),其将帧联合分布匹配到视频教师对真实分布的近似。联合匹配虽缓解自回归展开中的漂移,视觉质量和语义对齐仍有限。我们提出DuoMatching,以统一联合—边际形式近似真实视频分布。在既有联合匹配上,额外边际目标从图像生成器提供逐帧监督,传递互补视觉和语义先验。为将监督应用于视频,我们引入LatentBridge解决视频学生与图像教师的潜表示不匹配。Latent Variation Sampling进一步将监督分布到不同时间段,减少冗余。实验表明,DuoMatching改善视觉质量、构图和语义对齐,同时大体保留运动动力学。人工评估中,相对所有被评估基线的整体偏好率均超过80%。项目页:https://johnzhan2023.github.io/DuoMatching/.