论文

TACO:沿去噪轨迹定位扩散模型记忆区域并局部抑制

TACO: Trajectory-Aware Curvature Observation for Memorization Localization and Mitigation in Diffusion Models

模型评测模型推理解码与生成控制模型行为与机制分析安全与风险评测

摘要

文生图扩散模型可以在局部图像区域内重现记忆的训练内容,从而使精确定位对于有针对性的缓解至关重要。然而,单一去噪状态下的曲率观测可能包含瞬态响应,而空间均匀的缓解可能会破坏提示相关的内容。我们提出了轨迹感知曲率观察(TACO),这是一个用于扩散模型中局部记忆检测和缓解的统一框架。我们的实证分析表明,与记忆相关的曲率在后期去噪期间变得明显,并且在相邻状态的一致空间位置上持续存在。受这些观察的启发,TACO 沿着后期去噪轨迹聚合与提示相关的曲率响应,并应用潜变量引导的空间细化来提高空间一致性。所得到的记忆图既充当定位信号又充当用于缓解的空间控制信号。具体来说,TACO 使用这张图通过空间重新加权和局部指导校正来引导现有的推理时干预转向与记忆相关的区域。大量实验表明,TACO 始终优于竞争的定位方法,并改善了记忆抑制、语义对齐和感知质量之间的帕累托权衡。这些结果建立了轨迹感知空间分析作为记忆定位和有针对性的缓解之间的有效联系。

TACO:沿去噪轨迹定位扩散模型记忆区域并局部抑制:论文配图
图1:Stable Diffusion v1.4 [24]在6个不同随机种子下的全局与局部记忆化。