论文
FlowVVTON:流量引导无面罩视频虚拟试戴
FlowVVTON: Flow-Guided Mask-Free Video Virtual Try-On
摘要
视频虚拟试穿旨在跨视频帧将目标服装转移到移动的人身上。当前的方法依赖于人类解析掩模或姿势关键点,这些关键点在大运动和遮挡下经常失败,导致边界伪影和时间不一致。进一步的限制是,大多数方法仅依赖于时间建模的注意力机制,不提供明确的运动监督。我们提出了 FlowVVTON,一个无掩码框架,可以完全消除解析掩码依赖。光流仅用作训练时监督信号:流扭曲的潜在损失应用于生成模型的所有层,通过在显式物理运动约束下对齐相邻帧特征来强制多尺度时间一致性。两阶段训练策略在引入流程引导时间监督之前建立无掩模空间对齐。 TikTokDress 上的实验表明,FlowVVTON 的性能明显优于基线,特别是在时间一致性方面(与 SwiftTry 相比,VFID-R 提高了 5.7$\times$),同时在任何阶段都不需要分割掩模、姿势关键点或区域注释。