SHIFT：引导流程中隐藏的中间体 Transformer

扩散模型已成为高保真图像生成的主要方法。特别是最近基于 DiT 的扩散模型在产生高质量样本的同时实现了强大的即时依从性。我们提出了 SHIFT，这是一种简单但有效且轻量级的框架，通过在推理时对中间激活进行有针对性的操作来消除 DiT 扩散模型中的概念，其灵感来自于 大语言模型 中的激活控制。 SHIFT 学习动态应用于选定图层和时间步长的转向向量，以抑制不需要的视觉概念，同时保留提示的剩余内容和整体图像质量。除了抑制之外，相同的机制还可以将世代转移到所需的 \emph{style 域} 或使样本偏向添加或更改目标对象。我们证明，SHIFT 可以跨不同提示和目标对 DiT 生成进行有效且灵活的控制，而无需耗时的重新训练。