论文

在对话式图像编辑中使隐式保存意图显式化

Making Implicit Preservation Intent Explicit in Conversational Image Editing

应用与实践内容创作

摘要

对话式图像编辑不仅需要保留可见内容,还需要保留在轮流中暂时消失的内容。当新添加或修改的内容遮挡了先前可见的区域时,如果该区域从未在语义上发生更改,则该区域应该重新出现。然而,现有系统通常无法恢复此类被遮挡但未更改的内容,从而产生不一致或幻觉的结果。我们推出 OCCUR-Bench,这是会话图像编辑中时间保存的诊断基准。 OCCUR-Bench 提供了多种遮挡和显露场景以及历史修复参考,从而能够评估忠实的修复而不是合理的再生。我们还提出了 ReSpec,一个 无需训练 框架,通过将恢复感知指令与历史视觉参考配对,使隐式保存变得明确。给定编辑历史记录,ReSpec 会识别应保留的内容,选择提供缺失视觉证据的历史图像状态,并根据生成的指令和参考图像调整上下文编辑器。实验表明,ReSpec 提高了 OCCUR-Bench 上的恢复保真度和时间一致性,强调需要在编辑历史记录中进行基础保存,而不仅仅是当前图像。