重新思考扩散模型中的记忆缓解：加强文本调节

文本到图像的扩散模型在图像合成方面取得了显着的进步，并且可以通过紧密再现单个训练示例来表现出记忆力。有效的缓解措施必须保留有用的提示信息来指导替代描述。我们引入了一种免训练方法，在增强内容标记贡献和减弱填充贡献之前，通过高斯平滑重新分配交叉注意力，而无需额外的降噪器评估。通过这种干预，更强的内容调节可以改善可比较的训练图像相似性的即时对齐。局部分析确定强化何时保留共享价值信息，而重新分配何时减少局部注意力质量。在稳定扩散 v1.4 和 v2.0 上，所有评估的平滑宽度都位于训练图像相似性与提示对齐和图像偏好的经验帕累托前沿上。在稳定扩散上选择的配置可减少 DeepFloyd IF 中的模板再现，而无需进一步调整。这些发现支持联合控制条件分配和强度以产生迅速一致的替代方案。