无需训练 具有视觉上下文集成和概念对齐的图像编辑

在图像编辑中，必须结合上下文图像来传达用户的精确要求，例如主题外观或图像风格。现有的基于训练的视觉上下文感知编辑方法会产生数据收集工作和训练成本。另一方面，无需训练 替代方案通常建立在扩散反演的基础上，这在一致性和灵活性方面存在困难。在这项工作中，我们提出了 VicoEdit，一种 无需训练 和无反转方法，将视觉上下文注入到预训练的文本提示编辑模型中。更具体地说，VicoEdit 根据视觉上下文直接将源图像转换为目标图像，从而消除了可能导致轨迹偏差的反转的需要。此外，我们设计了一种以概念对齐为指导的后采样方法，以增强编辑的一致性。实证结果表明，我们的 无需训练 方法比最先进的基于训练的模型实现了更好的编辑性能。