实现复杂图像编辑的鲁棒顺序分解

视觉生成模型的最新进展使得在人类指令指导下的高保真图像编辑成为可能。然而，这些模型常常难以应对涉及组合编辑操作或步骤间依赖关系的复杂指令。这一困难源于两种规范范式的局限性：（1）单轮编辑，试图一次性应用所有指令编辑，通常无法准确解析复杂指令并导致不需要的编辑； (2)顺序编辑可以将任务分解为更简单的步骤，但会遭受顺序执行引入的复合错误，导致低保真度结果。为了得出复杂图像编辑的稳健解决方案，我们在统一的上下文编辑框架下检查不同范式的编辑行为，并研究如何平衡顺序分解的好处与其错误累积的缺点。我们进一步开发了一个合成数据管道，它构建了不同指令复杂性的编辑任务，使我们能够利用高质量的分解序列来策划大规模的编辑数据集。通过对合成数据进行微调，我们发现，通过正确设计的编辑范例，即使任务复杂性增加，顺序分解也能产生强大的改进。此外，从合成任务中学到的分解技能可以通过与现实世界的编辑数据共同训练来转移到真实图像，这证明了模拟到真实的泛化对于解决更广泛领域的复杂图像编辑的前景。