覆盖：本地化上下文感知扩散图像编辑

我们提出“覆盖”，这是一种图像编辑操作，它既可以控制编辑位置，又可以了解该位置的先前内容。重绘区域由三元图给出，其中必须编辑白色注释的像素，可以编辑灰色注释的像素，并且不得编辑黑色注释的像素。这可以根据用户意图实现精确和宽松的控制。我们通过调整预训练的图像编辑扩散模型来实现覆盖，该模型使用联合注意力和跨输入图像的低秩适应与注意力丢失的组合来平衡噪声、源图像和掩模图像之间的信息流。我们提出了一种新颖的自动化训练数据生成管道，该管道（1）利用现有的基于语言的编辑模型生成一组候选图像对，（2）精心策划这些对，以及（3）从每个可用对中提取三元图。我们展示了我们的重绘模型在各种编辑任务中的多功能性。