SIFT-VTON：虚拟试穿交叉注意的几何对应监督

基于扩散的虚拟试穿方法通过交叉注意机制将服装特征转移到目标身体区域来实现真实感合成。然而，这些方法依赖于空间对应的隐式学习，难以保留文本和插图等细节。我们提出了一种称为 SIFT-VTON 的新颖方法，它利用 SIFT 关键点匹配为基于扩散的虚拟试穿提供明确的几何指导。我们的方法将特定领域的过滤应用于服装和人物图像之间的 SIFT 关键点匹配，然后将这些对应关系转换为空间概率分布，以在训练期间监督交叉注意层。这种显式监督引导模型学习精确的空间对齐，将注意力集中在几何一致的服装区域。 VITON-HD 数据集上的实验表明，在保持有竞争力的配对重建指标的同时，未配对指标得到了显着改进。定性比较显示出对文本清晰度和图案对齐的出色保留。注意力可视化证实我们的方法可以将注意力集中在相关的服装细节上。这项工作表明，经典的几何对应方法可以有效增强条件合成任务的现代扩散模型。源代码可在 https://github.com/takesukeDS/SIFT-VTON 上获取。