分层虚拟试穿

在现实世界中，时尚就是分层：在衬衫上添加夹克，或者一系列添加和删除层，而不仅仅是单层交换。这项基本的现实任务仍然是现有虚拟试穿 (VTON) 方法中的一个挑战，该方法擅长单层替换，但并非旨在对现有服装进行分层或脱层。本文提出了分层虚拟试穿 (LVTON)，这是一种分层基准和方法，可在保留现有服装的同时实现顺序分层。我们发现当前的 VTON 范式从根本上来说不适合 LVTON，因为它们依赖于与布料无关的表示和单项数据集，从而放弃了必要的分层上下文。我们的主要见解是，LVTON 挑战必须分解为两种不同的能力：(1) 一般 VTON 先验（例如，变形、身份保存）和 (2) 特定分层知识（例如，分层顺序和遮挡推理）。首先，我们的模型通过对自动数据生成管道生成的数据进行训练，获得一般 VTON 先验，该管道通过分割和修复来合成时尚视频中的样本。其次，该模型在小型专用 LVTON 数据集上进行微调，以学习分层逻辑。我们的方法在 LVTON 基准测试上实现了最先进的结果，并在传统 VTON 基准测试上展示了卓越的通用性，在微调时设置了新的最先进的结果，并展现了零样本能力。