SketchDirector：以布局推理循环与扩散细化生成复杂矢量草图

摘要

现有的草图生成方法通常依赖于图像引导，并且很大程度上仅限于单个对象或简化的场景，而文本引导的复杂场景草图尚未得到充分探索。我们推出 SketchDirector，这是一个 Agentic 框架，它模仿人类草图工作流程，用于自动多概念场景草图绘制。给定场景级文本提示，SketchDirector 首先采用大语言模型（LLM）将场景分解为多个草图资产，其中每个草图资产由一组贝塞尔曲线表示。然后，Agentic 推理循环在自我进化记忆的引导下迭代地规划和执行它们的空间排列。最后，细节细化模块利用扩散先验来提高草图质量，同时保留几何结构。为了支持多概念场景草图生成的未来研究和应用，我们进一步引入了 MCSketch8K 数据集，包括可编辑矢量资源、组合布局和对象级操作注释。大量实验表明，SketchDirector 在语义和构图质量方面优于最先进的基线，同时在细化过程中有效保留整体轮廓组织。项目页面为：https://yiki77.github.io/SketchDirector/. 项目地址：https://yiki77.github.io/SketchDirector/

SketchDirector：以布局推理循环与扩散细化生成复杂矢量草图：论文配图 — 图 3：SketchDirector 管道。给定场景描述，SketchDirector 首先生成对象级草稿资源。然后，代理通过动作库中的可执行操作逐步组成场景，维护场景程序和空间资产属性。闭环过程迭代地调整布局，并由包含短期故障反馈和长期经验的自我进化记忆支持。最后，细节细化采用曲线轮廓重采样和渐进式联合优化来增强草图细节，同时保留已建立的场景布局和对象结构。