论文
Delta 分数很重要!扩散模型中的空间自适应多重制导
Delta Score Matters! Spatial Adaptive Multi Guidance in Diffusion Models
摘要
扩散模型在合成复杂的静态和时间视觉效果方面取得了显着的成功,这一突破很大程度上是由无分类器引导(CFG)推动的。然而,尽管标准 CFG 在将生成的内容与文本提示对齐方面发挥着关键作用,但它仍然依赖于全局统一的标量。这种同质放大使模型陷入了有据可查的“细节伪像困境”:低指导尺度无法注入复杂的语义,而高尺度不可避免地会导致视频中的结构退化、颜色过度饱和和时间不一致。在本文中,我们通过微分几何的视角揭示了这种缺陷的物理根源。通过分析 Tweedie 公式,我们揭示了 CFG 本质上执行切向线性外推。由于自然数据流形是高度弯曲的,因此这种均匀线性步骤引入了严重的正交偏差。为了保持生成轨迹的安全界限,我们制定了空间和自适应制导的理论上限。基于这些几何见解,我们提出了空间自适应多重制导(SAMG),这是一种 无需训练 和几乎零成本的采样算法。 SAMG 动态计算逐点条件引导能量,对高能量边界区域应用保守的最小尺度以保留精致的微纹理,同时在低能量区域部署激进的最大尺度以最大化语义注入。跨不同图像(SD 1.5、SDXL、SD3.5 Medium)和视频(CogVideoX、ModelScope)架构的大量实验表明,SAMG 有效解决了细节伪影困境,实现了卓越的语义对齐、结构完整性和时间平滑性,而无需任何计算开销。