论文
注意你的脚步:通过影子时间步嵌入在扩散模型中进行信息注入
Watch Your Step: Information Injection in Diffusion Models via Shadow Timestep Embedding
摘要
扩散模型已成为现代生成系统的基础,大多数研究主要集中在提高生成效率和输出质量上。时间步嵌入组件是扩散管道的关键部分,它为去噪网络提供时间调节信号,使其能够在整个过程中适应不同噪声水平的预测。尽管它们有可能包含大量信息,但时间步嵌入在当前的研究中仍未得到充分探索,特别是在安全风险和可靠来源方面。为了填补这一空白,我们引入了影子时间步嵌入(STE),这是一种新颖的机制,用于研究未充分利用的时间空间以将恶意信息注入扩散模型。特别是,当放大时间步嵌入空间时,我们发现不同的时间步表现出不同的表示能力,可以编码侧通道信息。此外,这种编码信息可以通过调度器接口用于攻击和防御目的。我们提出了时间步嵌入作为位置编码映射的理论分析,并得出了相互一致性评估,解释了不相交时间步间隔的可分离性。我们的研究结果揭示了扩散模型的时间步长是承载专用信息的强大侧通道,通过理解时间维度激发了对抗性生成模型的新方向。