通过方差减少的顺序蒙特卡罗进行特异性感知扩散引导

摘要

推理时间引导使预训练的扩散模型能够满足新的约束，而无需完全重新训练。然而，特异性感知的生成很困难：从负参考分布中排斥样本也会侵蚀两者重叠的正分布。关键的挑战是抑制负质量，同时尽量减少对正分布的扭曲。我们通过将特异性感知转向制定为目标设计问题并从基于重叠的目标导出目标分布来解决这个问题。所得目标仅在其比不需要的参考分布充分优选的区域中保留所需的参考分布，从而给出特异性的似然比解释。为了从相应的时间相关目标路径中采样，我们开发了一个具有方差最小化局部建议的顺序蒙特卡罗采样器。我们进一步介绍了一种实用的固定噪声优化程序，其中包含雅可比行列式 - 具有所需和不需要的得分字段的向量积。合成任务、类对比生成、文本到图像任务和肽-MHC (p-MHC) 结合剂的实验表明，与负指导基线相比，该方法可以更有效地抑制不需要的区域，减少模式转换，并通过减少 SMC 权重崩溃来提高采样稳定性。代码可在以下位置获取：https://github.com/WangLuran/Specificity-Aware-Diffusion-Steering