论文

Banana100:使用 Nano Banana Pro 通过 100 次迭代图像复制打破 NR-IQA 指标

Banana100: Breaking NR-IQA Metrics by 100 Iterative Image Replications with Nano Banana Pro

模型评测基准与评测资源

摘要

多模式代理系统的多步骤、迭代图像编辑功能已经改变了数字内容创建。尽管最新的图像编辑模型忠实地遵循指令并在单轮编辑中生成高质量图像,但我们发现多轮编辑的一个关键弱点是图像质量的迭代退化。随着图像的反复编辑,微小的伪影会不断积累,迅速导致可见噪声的严重积累,并且无法遵循简单的编辑说明。为了系统地研究这些失败,我们引入了 Banana100,这是一个综合数据集,包含通过 100 个迭代编辑步骤生成的 28,000 张降级图像,包括不同的纹理和图像内容。令人担忧的是,图像质量评估人员未能检测到图像质量的下降。在 21 个流行的无参考图像质量评估 (NR-IQA) 指标中,没有一个指标始终为严重退化的图像分配比干净图像更低的分数。如果多轮编辑生成的低质量合成数据逃脱质量过滤器,生成器和评估器的双重故障可能会威胁未来 模型训练 的稳定性和已部署代理系统的安全。我们发布完整的代码和数据,以促进更强大的模型的开发,帮助减轻多模式代理系统的脆弱性。