论文
STRIDE:无需训练 通过单步扩散模型中 PCA 定向特征扰动进行多样性指导
STRIDE: Training-Free Diversity Guidance via PCA-Directed Feature Perturbation in Single-Step Diffusion Models
摘要
蒸馏一步 (T=1) 或少步 (T$\leq$4) 扩散模型可以实现实时图像生成,但与多步模型相比,样本多样性通常会降低。在多步扩散中,可以通过时间表、轨迹或迭代优化来引入多样性;然而,这些机制在少步或单步设置中不可用,限制了现有多样性增强方法的有效性。一种自然的替代方案是扰动中间特征,但简单的特征扰动通常是无效的,要么产生有限的多样性增益,要么降低生成质量。我们认为,在少步模型中有效的多样性注入需要尊重模型学习到的特征几何形状的扰动。基于这一见解,我们提出了 STRIDE,这是一种在单次前向传递中运行的 无需训练 和无优化方法。 STRIDE 将空间相干(粉红色)噪声注入中间 Transformer 特征,投射到模型自身激活的主要成分上,确保扰动位于学习的特征流形上。这种设计可以在表示空间中沿着有意义的方向实现受控变化。在 FLUX.1-schnell 和 SD3.5 Turbo 上跨 COCO、DrawBench、PartiPrompts 和 GenEval 进行的广泛实验表明,STRIDE 不断提高多样性,同时保持强大的文本对齐。特别是,STRIDE 降低了批次内相似性,同时对 CLIP 分数的影响最小,并且帕累托在多样性保真度前沿上主导现有的 无需训练 基线。这些结果强调,在缺乏迭代细化的情况下,提高一步扩散和一步扩散的多样性并不取决于增加扰动强度,而是取决于使扰动与模型的内部表示结构保持一致。