FIT：用于健身感知虚拟试穿的大规模数据集

给定人和服装图像，虚拟试穿 (VTO) 旨在合成穿着服装的人的真实图像，同时保留其原始姿势和身份。尽管最近的 VTO 方法擅长可视化服装外观，但它们在很大程度上忽略了试穿体验的一个关键方面：服装合身的准确性 - 例如，描绘超大衬衫穿在超小人身上的样子。一个主要障碍是缺乏提供精确服装和身体尺寸信息的数据集，特别是对于“不合身”的情况，即服装明显太大或太小。因此，无论服装或人的尺寸如何，当前的 VTO 方法都会默认生成合适的结果。在本文中，我们迈出了解决这个开放问题的第一步。我们引入了 FIT（Fit-Inclusive Try-on），这是一个大型 VTO 数据集，包含超过 113 万张试穿图像三元组，并附有精确的身体和服装测量数据。我们通过可扩展的合成策略克服了数据收集的挑战：(1) 我们使用 GarmentCode 以编程方式生成 3D 服装，并通过物理模拟对它们进行悬垂，以捕获真实的服装合身性。 (2) 我们采用新颖的重新纹理框架将合成渲染转换为逼真的图像，同时严格保留几何形状。 （3）我们将人物身份保存引入到我们的重新纹理模型中，以生成配对人物图像（同一个人，不同的服装）以进行监督训练。最后，我们利用 FIT 数据集来训练基线合身感知虚拟试穿模型。我们的数据和结果为合身感知虚拟试穿设定了新的最先进水平，并为未来的研究提供了可靠的基准。我们将在我们的项目页面上公开所有数据和代码：https://johannakarras.github.io/FIT。