论文
深入研究高保真虚拟试穿的不对称信息动态
Delving into Asymmetric Information Dynamics for High-Fidelity Virtual Try-On
摘要
虚拟试戴 (VTON) 需要精确的像素级保真度,但主流扩散Transformer (DiT) 经常遭受纹理退化和结构漂移的困扰。我们将标准联合注意机制中的对称交互确定为这些失败的根源。尽管此类交互支持通用编辑中的语义灵活性,但它们允许随机噪声破坏 VTON 中的确定性服装特征。我们通过不对称信息动态分析这个问题,并引入两个诊断指标:用于特征无偏性的条件注意熵(CAE)和用于注入有效性的注入信息通量(IIF)。我们的分析表明,对称双向注意力会破坏条件特征并削弱条件信号。为了解决这些限制,我们提出了 RealFit,这是一个将单向信息流 (UIF) 与解耦时间步调制 (DTM) 相结合的框架。 UIF 将服装状况与随机噪声隔离,以保持服装特性,而 DTM 则优化调制比例以保持强大的条件信号。由此产生的时不变条件分支启用条件 KV 缓存,将推理时间减少约 75%。 RealFit 提供了一种原则性的条件生成方法,具有最先进的保真度和效率。