论文

OrthoTryOn:几何正交化无冲突统一时尚一代

OrthoTryOn: Geometric Orthogonalization for Conflict-Free Unified Fashion Generation

模型训练参数高效训练

摘要

统一时尚生成将虚拟试穿和服装重建等任务集成到单个模型中,以减少特定于任务的适应成本。然而,跨语义不同任务的简单参数共享会通过严重的任务间梯度冲突导致负迁移。我们提出了 OrthoTryOn,这是一个统一的框架,可以在共享的低秩适应 (LoRA) 模块内减轻这种干扰。其正交子空间投影(OSP)将特定于任务的正交旋转应用于瓶颈特征,将它们映射到去相关的坐标系中。为了解决推理时的残余语义耦合问题,我们进一步提出费舍尔引导负指导(FNG),这是一种无参数策略,利用对角费舍尔信息来量化任务间敏感度重叠,并通过无分类器指导明确排斥最容易混淆的任务的生成轨迹。大量实验表明,OrthoTryOn 避免了幼稚统一训练典型的严重性能下降,甚至超越了独立训练的特定任务模型,在多个基准上实现了最先进的结果,同时在不同的扩散主干上稳健地推广。代码可在 https://github.com/NJU-PCALab/OrthoTryOn 获取。