论文
h-Flow:通过 Doob 的 h-Transform 进行灵活的基于流的图像编辑
h-Flow: Flexible Flow-based Image Editing via Doob's h-Transform
摘要
使用预先训练的文本到图像流模型编辑图像通常需要仔细平衡目标对齐与所需的提示以及源与原始图像的一致性。现有方法要么依赖于基于反演的管道,要么依赖于启发式源到目标轨迹构造,这通常依赖于特定于体系结构的设计或对超参数敏感。在本文中,我们提出了 h-Flow,一个 无需训练 和理论上基于流的编辑框架。受 Doob 的 $h$-Transform 的启发,我们将图像编辑重新表述为与源一致性和目标对齐相对应的多个终端事件下的条件生成。我们首先通过构建具有相同边际的等效 SDE,将经典的 $h$-Transform 从基于 SDE 的模型扩展到确定性 RF 框架。在这个公式中,我们设计了专用的 $h$ 函数来实现源一致性和目标对齐,产生封闭形式的重建指导和基于速度的语义编辑信号。我们进一步引入速度正交分解来解耦重建和编辑方向,从而实现两个目标之间的可控权衡。大量实验表明,h-Flow 可在不同场景下实现有效、稳健且灵活的编辑。该代码即将发布。