SI-Edit：以像素级精度进行草图指令引导的局部图像编辑

尽管生成模型取得了快速进步，但在基于草图的图像编辑中实现像素级精度仍然是一个持续的挑战，特别是对于细粒度的局部变形。这种差距主要源于共同提供几何约束和语义指令的高质量、公开可用的基准数据集的严重短缺。为了解决这个问题，我们首先引入**SI-Data**，这是一个专门为指令引导的本地草图编辑而设计的高质量数据集。我们开发了一个利用多模态 大语言模型 (MLLM) 的自动化管道来合成全面的四元组，包括原始图像、局部几何草图、语义指令和相应的编辑图像。通过提供可靠的空间锚点和明确的语义意图，SI-Data 独特地实现了协作空间语义学习。在此基础上，我们提出了一个名为 **SI-Edit** 的协作框架，它将语义指令与精确的几何约束集成在一起。此外，为了解决缺乏标准化评估的问题，我们建立了一套全面的指标，旨在衡量结构保真度（例如草图到边缘的对齐）和语义依从性。实验结果表明，SI-Edit 为基于草图的图像编辑提供了比基线更可靠的结构控制，并实现了与用户意图一致的精确的像素级局部细化。数据和代码发布在[项目页面](https://github.com/ywxsuperstar/SIEdit)。