论文

基于指令的图像编辑:数据、模型、评估和应用的调查

Instruction-based Image Editing: A Survey on Data, Models, Evaluation, and Applications

模型评测基准与评测资源

摘要

基于指令的图像编辑(IIE)旨在根据文本指令将给定图像转换为新图像。 大语言模型 (LLM) 和视觉语言模型 (VLM) 的进步加速了实用“单句图像编辑”系统的进展。这项调查对 IIE 研究进行了系统分类和全面回顾,围绕五个核心维度构建:(1) 任务定义和编辑操作的层次分类,(2) 训练数据构建的方法,(3) 从基于 GAN 到扩散和传播的架构演变自回归范式,(4)标准化评估指标和基准开发,以及(5)商业解决方案的引入。我们进一步提出了 IIE 任务的全面、深入和诊断基准(CDD-IIE Bench),它可以严格评估模型性能的多个方面,最后,我们讨论了推动该领域发展的未来研究方向。