论文

ASG:利用指令注意力控制图像编辑范围,无需额外训练

Attention-Scoped Guidance: Training-Free Spatial Control for Image Editing

模型推理解码与生成控制

摘要

指令引导的图像编辑应更改指令的名称,并保持图像的其余部分不变。在无双分类器指导 (CFG) 中,编辑器在每个去噪步骤中结合两个方向,一个使用全局权重推动指示编辑,另一个方向拉回到源图像。我们引入了注意力范围指导(ASG),这是一种采样器包装器,可以使这些权重具有空间性。它从编辑器已经计算的指令注意力中读取软支持图,然后在支持度低的地方削弱文本指导,在支持度高的地方加强图像锚定。包装器不需要训练,不需要外部掩模,也不需要额外的网络评估。在完整的 MagicBrush 和 PIE-Bench++ 拆分中,ASG 改进了面向保存的指标,领先四个 MagicBrush 指标中的三个和 PIE-Bench++ 背景 PSNR。消除空间放置的剂量匹配控制在 PIE-Bench++ 上损失高达 0.73 CLIP,这证实了空间分配本身带来了增益。