论文

学习在哪里观察以及如何判断:具有质量感知显着性的与分辨率无关的图像质量评估

Learning Where to Look and How to Judge: Resolution-agnostic Image Quality Assessment with Quality-aware Saliency

模型训练监督微调与指令调优

摘要

无参考图像质量评估 (NR IQA) 最近受益于深度和多模态模型,但许多 SOTA 系统仍然违反了至少一个基本要求:它们要么通过积极调整大小而丢弃关键质量线索,无法跨分辨率进行泛化,无法在 MOS 尺度不匹配的异构 IQA 数据集上进行联合训练,或者需要过高的计算量。我们提出了 \textbf{ReLIQS},一个与解决方案无关的 \textbf{L} 模型,以 \textbf{S} 的能力获得 \textbf{I}mage \textbf{Q} 质量,该模型与分辨率无关,保留原始分辨率质量线索,从多个主观研究中学习,并保持计算效率和预算适应性。 ReLIQS 是一种基于 CLIP 的多尺度补丁驱动架构,可以学习 \emph{在哪里看} 和 ​​\emph{如何判断} 质量。固定大小的补丁在多种分辨率(包括原始分辨率)上进行采样,并使用 CLIP 视觉主干进行编码。然后,轻量级感知重要性估计器预测 IQA 特定的重要性图以选择一小组信息丰富的补丁,并且潜在质量轴模块将它们的嵌入聚合到单个图像级分数中。在跨越不同分辨率和失真的真实、合成和 AIGC 基准测试中,ReLIQS 的泛化能力优于强大的基于 CNN、CLIP 和 MLLM 的基准,并且具有匹配或降低的计算成本。