论文
超越全球现实主义:通过尺寸服装保真度评估进行虚拟试穿评估和优化
Beyond Global Realism: Virtual Try-On Evaluation and Optimization with Dimension-wise Garment Fidelity Assessment
摘要
虚拟试穿(VTON)不仅需要真实的生成,还需要忠实地保存服装特性。然而,现有的评估指标(例如 PSNR、SSIM、KID 和 FID)很难衡量生成的服装与参考服装之间的一致性,特别是在捕获服装保真度的多维特征方面。为了解决这个问题,我们提出了 DAT:虚拟试穿的维度评估框架,它将服装一致性分解为七个可解释的维度:轮廓、颜色、领口和袖子形状、主要装饰和结构、材料纹理、细节保真度和徽标保留,每个维度都制定为离散的属性级预测任务。为了训练这个专门的评估模型,我们采用了两阶段学习范式,包括对 50K 样本进行大规模弱监督,然后对通过多模型投票获得的 10K 更高质量注释进行细化。此外,我们采用加权交叉熵损失来减轻评估维度上固有的严重标签不平衡。除了作为评估框架的作用之外,评估模型还可以集成到 VTON 的 Qwen-Image-Edit 的强化学习优化中,其中维度奖励会自适应聚合,以强调训练期间优化不足的方面。实验结果表明,我们的方法(8B 参数)在平衡精度、SROCC 和 PLCC 方面实现了最先进的性能,优于 Gemini-3.1、Qwen3.7-plus 和 GPT-5.5 等强大的专有模型,同时也可以作为奖励引导的 VTON 生成的有效优化信号