虚拟试穿中什么重要？用于服装重建的双 UNet 扩散模型

虚拟试穿 (VTON) 取得了快速发展，为生成时尚任务奠定了坚实的基础。然而，反问题，虚拟试穿（VTOFF）——旨在从披上的图像重建标准服装——仍然是一个不太了解的领域，与广泛研究的 VTON 领域不同。在这项工作中，我们寻求通过研究和调整 VTON 和通用潜在扩散模型 (LDM) 中的各种基于扩散的策略，为 VTOFF 建立强大的架构基础。我们将研究重点放在 Dual-UNet 扩散模型架构上，并分析三个设计轴：(i) 生成骨干：比较稳定扩散变体； (ii) 调节：消除不同的掩模设计、用于图像调节的掩模/未掩模输入以及高级语义特征的实用性； (iii) 损失和训练策略：评估基于辅助注意力的损失、感知目标和多阶段课程安排的影响。大量的实验揭示了各种配置选项之间的权衡。在 VITON-HD 和 DressCode 数据集上进行评估，我们的框架实现了最先进的性能，主要指标 DISTS 下降了 9.5%，并且在 LPIPS、FID、KID 和 SSIM 上具有竞争性的性能，为指导未来的虚拟试穿研究提供了更强大的基线和见解。