论文
在先验分布内拖动:分布约束内基于文本条件的基于点的图像编辑
Drag within Prior Distribution: Text-Conditioned Point-Based Image Editing within Distribution Constraints
摘要
基于扩散的点编辑方法在图像编辑任务中获得了显着的吸引力,因为它们能够通过对多种潜在噪声应用局部扰动来操纵图像语义和精细细节。然而,这些方法面临一些限制。传统的基于点的编辑依赖于成对的手柄点和目标点来定义运动轨迹,这可能会引入歧义或不必要的更改。此外,当手柄和目标点之间的距离较大时,累积的扰动通常会导致与反演分数轨迹的噪声潜在偏差,从而导致不自然的伪影。为了解决全局编辑任务中的这些问题,我们引入了基于 CLIP 的模型来评估和指导中间编辑步骤,确保生成的结果在语义上保持一致。此外,我们提出了先验保留损失,将优化的潜在代码限制在扩散先验的采样空间内,提高与原始数据分布的一致性,以确保模型沿着熟悉的分数轨迹生成图像。对于细粒度任务,我们提出了一种方向加权点跟踪机制,可将编辑过程引导到相似特征区域内的目标方向。这提高了跟踪精度和生成质量,同时还减少了编辑时间。