全景成对畸变图

在这项工作中，我们通过将图像对表示为其区域的结构化组合，引入了比较图像评估的新视角。相比之下，现有方法侧重于整个图像分析，同时隐含地依赖于区域级理解。我们将场景图的图像内概念扩展到图像间，并提出了一种新颖的失真图（DG）任务。 DG 将配对图像视为基于区域的结构化拓扑，并在紧凑的可解释图形结构中表示密集的退化信息，例如失真类型、严重性、比较和质量分数。为了实现学习失真图的任务，我们贡献了（i）区域级数据集 PandaSet，（ii）具有不同区域级难度的基准套件 PandaBench，以及（iii）高效架构 Panda 来生成失真图。我们证明，PandaBench 对最先进的多模态 大语言模型 (MLLM) 提出了重大挑战，因为即使提供明确的区域线索，它们也无法理解区域级别的退化。我们表明，在 PandaSet 上进行训练或使用 DG 进行提示可以引发区域失真理解，为细粒度、结构化成对图像评估开辟了新方向。