CanvasAgent：通过可视化工具编排实现复杂的图像创建和编辑

复杂的图像创建和编辑通常需要多个生成或编辑模型。用户请求可能涉及合成图像、定位对象、分割区域、编辑所选内容、合成中间资产、阅读文本和增强最终结果。此类任务将多模态代理从感知增强推理转变为以操作为中心的视觉创作，其中工具必须主动改变视觉状态，而不仅仅是检查它们。然而，现有的多模式工具使用代理大多针对感知、搜索或特定领域的编辑进行了优化，并且缺乏对可执行图像创建轨迹的大规模监督。在本文中，我们介绍了 CanvasCraft，一个用于复杂图像创建和编辑的大规模多模态工具使用数据集，以及 \textbf{CanvasAgent}，一个工具增强的多模态代理，它学习通过多轮交互来编排异构视觉工具。 CanvasCraft 包含 140K 个完全注释的可执行轨迹和 10K RL 任务规范。 CanvasAgent 首先使用 SFT 进行训练，以学习可执行的推理-动作轨迹，然后使用结合了结果级和过程级信号的混合奖励，通过 GRPO 进行优化。在执行期间，CanvasAgent 检查中间结果、跟踪视觉资产并根据不断变化的视觉状态调整工具决策。实验评估最终图像质量和轨迹行为，证明 CanvasAgent 和针对复杂的多工具图像创建工作流程提出的数据集的有效性。