论文
DirectTryOn:通过直通条件传输进行一步虚拟试穿
DirectTryOn: One-Step Virtual Try-On via Straightened Conditional Transport
摘要
最近基于扩散和流的 VTON 方法通过预训练的生成模型取得了很好的结果,但它们对多步采样的依赖会带来很高的推理成本,而现有的加速方法在很大程度上忽视了试穿任务的内在结构。在本文中,我们强调了一个关键观察结果:VTON 输出受到条件输入的高度约束,这表明条件采样轨迹可以比一般图像生成中的轨迹更直,从而使一步生成成为一种自然的解决方案。然而,有限的特定任务数据使得从头开始训练变得不切实际,迫使现有方法对目标不鼓励这种直接条件轨迹的预训练模型进行微调。因此,与理想直线路径的偏差主要来自于预训练的基础模型和试穿生成的条件性质之间的不匹配,而不是来自任务本身。受这一见解的启发,我们鼓励通过三个有针对性的修改来实现更直的 VTON 采样轨迹:纯条件传输、服装保存损失和自我一致性损失。我们进一步引入一步 蒸馏 阶段。大量实验表明,我们的方法通过一步采样实现了最先进的性能,为高效、高质量的 VTON 建立了新标准。