论文

拖动作为证据:基于运动的潜在重组,用于基于拖动的编辑

Drag as Evidence: Motion-Grounded Latent Recomposition for Drag-Based Editing

模型推理解码与生成控制

摘要

现代图像编辑器擅长语义操作和视觉合成,但在精确的空间控制方面仍然有限,这推动了基于拖动的编辑的发展。然而,现有的基于拖动的方法通常很难在拖动精度与自然、合理且符合意图的生成之间取得平衡。我们提出了 MoRe-Drag,一种基于运动的基于拖动的编辑方法。我们的主要见解是将像素空间扭曲视为粗略运动证据,并将该证据注入生成采样轨迹中。具体来说,MoRe-Drag 对细化、修复和锚定区域执行区域感知的潜在重组,并结合阶段自适应调节,逐步从基于运动的结构形成转变为语义细化。我们通过采用基于 MLLM 的文本编码器进行拖动感知指令推理,进一步支持无指令接口。 DragBench-SR 和 DragBench-DR 上的实验表明,MoRe-Drag 相对于强大的基础编辑器显着提高了拖动精度,并在基于 SOTA 拖动的方法中实现了卓越的拖动精度,同时提供了强大的语义一致性和视觉逼真的结果。代码和数据集将公开发布。