论文
SteeringDiffusion:扩散模型的瓶颈激活控制接口
SteeringDiffusion: A Bottlenecked Activation Control Interface for Diffusion Models
摘要
我们引入了 SteeringDiffusion,这是一种用于扩散模型的瓶颈激活级别控制接口,它在内容风格权衡上提供了平滑、单调且运行时可调的控制界面。我们的方法保持 U-Net 主干冻结,并学习一个小的、即时调节的潜在代码,投影到 FiLM/AdaGN 风格的调制参数。零初始化设计保证了在零尺度下与基本模型的精确等效,而时间步感知门控将调制限制在后面的去噪阶段。推理时的单个标量连续遍历控制面而无需重新训练。通过涵盖多种艺术风格的 Stable Diffusion~1.5 和 SDXL 的实验,我们表明 SteeringDiffusion 可以产生平滑且单调的内容风格权衡。在匹配的参数预算下,它在可控性和稳定性方面优于 LoRA,而 ControlNet 和 1 级适配器不公开可比较的控制面。我们进一步介绍了基于 DDIM 反演的反演稳定性诊断,用作事后轨迹探针,揭示了与干预幅度的强相关性。这些结果将\emph{转向瓶颈显式控制(S-BEC)}定位为冻结扩散主干的实用通用控制接口。