教智能体逐部件绘制草图

我们开发了一种逐部件生成矢量草图的方法。为此，我们在监督微调之后，采用一种新颖的多轮过程奖励强化学习来训练基于多模态语言模型的智能体。该方法依托一个名为ControlSketch-Part的新数据集才得以实现，其中包含丰富的草图部件级标注；这些标注通过一种新颖且通用的自动标注流水线获得，该流水线将矢量草图分割为语义部件，并通过结构化的多阶段标注过程将路径分配给部件。结果表明，引入结构化的部件级数据并在过程中向智能体提供视觉反馈，可实现可解释、可控且可局部编辑的文本到矢量草图生成。