论文

ServImage:现实商业成像服务的图像生成和编辑基准

ServImage: An Image Generation and Editing Benchmark from Real-world Commercial Imaging Services

模型评测基准与评测资源

摘要

最近的图像生成和编辑模型表现出对指令的严格遵守以及学术基准上的高视觉质量。然而,他们在付费的现实世界设计项目上的表现仍然不确定。我们引入 \textbf{ServImage},这是一个将模型输出与商业设计项目中的经济价值明确关联的基准。 ServImage 包含 (i) \textbf{\textit{ServImageBench}}:包含 107000 个付费商业设计任务和 205000 个设计师交付成果的数据集,总计超过 29.5 万美元,涵盖肖像、产品和数字内容,以及 33000 个候选图像和 33000 个人工注释。 (ii) \textbf{\textit{ServImageScore}}:一个综合评分系统,结合了三个质量维度:基线需求满足、视觉执行质量和商业必要性满足。这三个维度旨在描述驱动人类支付决策的因素,并表明图像是否在商业上可接受。 (iii) \textbf{\textit{ServImageModel}}:在此评分系统下,我们提出了一种在人工注释的候选图像上训练的支付预测模型,在预测人类支付决策和生成校准的支付概率方面实现了 82.00\% 的准确率。 ServImage 为评估图像生成模型的商业可行性提供了全面的基础,并为经济基础视觉系统的未来研究提供了可扩展的资源\href{https://github.com/FengxianJi/ServImage}{Github。}