为什么 DiT 编辑会随波逐流？ VAE 潜在空间中的即插即用低频对准

扩散 Transformer (DiTs) 的最新进展实现了有前途的单轮图像编辑功能。然而，多轮编辑通常会导致渐进的语义漂移和质量下降。在这项工作中，我们通过将编辑过程分解为两个功能组件：VAE 和 DiT，从潜在空间频率的角度研究这个问题。通过对 VAE 潜在空间的系统分析，我们发现 DiT 引入了主要的低频漂移，这些漂移在编辑轮次中累积为语义错位，而 VAE 则提供了相对稳定的重建偏差。基于这一见解，我们提出了 VAE-LFA（低频对齐），这是一种在 VAE 潜在空间中执行对齐的 无需训练 即插即用方法。 VAE-LFA 通过低通滤波分解编辑轮次之间的潜在差异，并将低频统计数据与前轮的指数移动平均值对齐，有效抑制累积的语义漂移，同时保留高频细节。我们的方法不需要重新训练、真值 先验或访问扩散参数，使其适用于白盒和黑盒 DiT 编辑器。对于白盒模型，VAE-LFA 通过消除冗余的 VAE 往返，无缝集成到编辑管道中；对于黑盒模型，它通过现成的 VAE 进行操作以执行轮间潜在对齐。大量实验表明，VAE-LFA 提高了不同多轮编辑场景（包括受控图像和野外图像）的语义一致性和视觉保真度。