StableI2I：发现图像到图像转换中的意外变化

在大多数现实世界的图像到图像（I2I）场景中，现有的评估主要集中在指令遵循以及生成图像的感知质量或美观性上。然而，他们在很大程度上无法评估输出图像是否保留了输入图像的语义对应和空间结构。为了解决这一限制，我们提出了 StableI2I，这是一个统一的动态评估框架，可以明确测量各种 I2I 任务的内容保真度和前后一致性，而无需参考图像，包括图像编辑和图像恢复。此外，我们还构建了 StableI2I-Bench，这是一个基准测试，旨在系统地评估 MLLM 在此类保真度和一致性评估任务上的准确性。大量的实验结果表明，StableI2I 可以对内容保真度和一致性提供准确、细粒度和可解释的评估，与人类主观判断具有很强的相关性。我们的框架作为一种实用且可靠的评估工具，用于诊断现实世界 I2I 系统中的内容一致性和基准模型性能。