论文

Rubric-CEPR:通过奖励验证的自我蒸馏进行自我进化的图像编辑

Rubric-CEPR: Self-Evolving Image Editing via Reward-Verified Self-Distillation

模型优化模型训练模型推理参数高效训练推理验证与自校正蒸馏

摘要

指令引导的图像编辑器已经变得非常强大,但进一步改进它们仍然取决于人工编辑的训练对或外部奖励模型。获得这种监督的成本很高,并且可能会奖励看似合理的失败:实际的输出可能会导致所请求的更改未完成或更改应保留的内容。在这项工作中,我们努力仅使用自己的一代来改进预训练的图像编辑器,而不需要人工编辑的目标或外部训练时间奖励模型。为此,我们提出了一个名为 Rubric-CEPR 的自我进化框架,该框架通过 rubric 增强对比编辑保留奖励(CEPR)来验证编辑者自己的样本及其内部表示。规划器从未标记的图像中提出结构化编辑指令,编辑器对多个候选编辑进行采样,冻结的评论家使用编辑器已经公开的功能,通过分解的标题检查对每个候选进行评分,以实现编辑、删除旧状态和内容保留。非补偿性门拒绝不可行的候选者,并且经过最好的验证 候选人通过轻量级适配器培训被提炼为编辑器。在 Qwen-Image-Edit 上,Rubric-CEPR 将 ImgEdit 从 4.36 改进到 4.60 (+5.5%),对象隔离提高了 +24.9%,并转移到 GEdit-Bench 和 Complex-Edit。同样的过程还将 ImgEdit 上的 Step1X-Edit 改进了 +7.8%。我们希望我们的方法能够为图像编辑器提供坚实的基准,使他们能够从自己经过验证的样本中改进自己。我们的代码可在 $\href{https://riteshthawkar.github.io/Rubric-CEPR/}{\text{this URL}}$ 公开获取