从扩散模型中的参数空间过滤记忆

低秩适应（LoRA）已成为一种广泛使用的定制扩散模型的机制，使用户能够通过轻量级参数更新注入新的视觉概念或风格。然而，LoRA 可以记住训练图像，从而导致生成的输出重现受版权保护或敏感内容。这种风险在 LoRA 共享生态系统中尤其令人担忧，在该生态系统中，用户分发经过训练的 LoRA 而无需发布底层训练数据。现有的减轻记忆的方法依赖于对训练管道、训练数据的访问或对推理过程的控制，这使得它们在只有发布的 LoRA 权重可用时难以应用。我们提出 \textbf{Base-Anchored Filtering (BAF)}，一种 无需训练 和无数据框架，用于扩散 LoRA 中的事后记忆缓解。 BAF 将 LoRA 更新分解为频谱通道，并测量它们与预训练主干的主子空间的对齐情况。与该子空间强烈对齐的通道被保留为可泛化的适应，而弱对齐的通道被抑制为记忆内容的潜在载体。对多个数据集和扩散主干的实验表明，BAF 持续减少记忆，同时保持甚至提高生成质量。我们的代码可在补充材料中找到。