从计划到像素：学习规划和编排开放式图像编辑

现代图像编辑模型可以产生真实的结果，但很难处理抽象的多步骤指令（例如，“让这个广告对素食主义者更友好”）。先前基于代理的方法分解了此类任务，但依赖于手工制作的流程或教师的模仿，限制了灵活性并使学习与实际编辑结果脱钩。我们提出了一个用于长视野图像编辑的体验框架，其中规划器生成结构化原子分解，编排器选择工具和区域来执行每个步骤。视觉语言评委针对指令遵守情况和视觉质量提供基于结果的奖励。协调者经过训练，可以最大化这些奖励，成功的轨迹则用于完善规划者。通过将计划与奖励驱动的执行紧密结合，我们的方法比单步或基于规则的多步基线产生更加连贯和可靠的编辑。