论文
WeGenEditBench以局部检查清单评价图像编辑并指导定向训练
From Evaluation to Evolution: Benchmarking Image Editing and Evolving Image Models
摘要
现实世界的图像编辑需要协调多个视觉转换与内容保留和参考约束,但总分很容易掩盖未满足的局部要求。因此,有效的评估必须识别局部失败并将其转化为后续模型改进的优先事项。我们推出了 WeGenEditBench,包含 2,740 个评估实例和 148 个任务类型,涵盖单图像、文本密集型和多参考编辑。跨模型共享的预先生成的清单将每个请求分解为原子需求;首先建立逐项扣分和视觉证据,然后汇总为编辑执行、内容保留、视觉质量和特定任务正确性的分数。为了支持递归自我改进(RSI)的经验获取部分,我们开发了WeGenEvoStudio,这是一个用于面向RSI的学习的统一多智能体harness,集成了针对具体模型的失败诊断、基于检索的数据构建、监督适应和重新评估。在 15 种评估配置中,GPT-Image-2 以 4.076 的总分领先于单图像编辑,而 Seedream-5.0-Pro 以 4.291 的总分领先于文本密集型编辑。跨越四个生成和编辑基准的进化实验展示了显着的目标增益:在其报告选择的 Top-5 单图像目标上,FLUX.2 [dev] 将Overall得分从1.083提高到3.517,而 Qwen-Image-Edit-2511 则提高了 13.2%。我们的基准测试和 harness 共同为通过可解释的评估和反馈驱动的学习开发更可靠的图像模型奠定了基础。
