论文

FoMo:生成轨迹中的分叉时刻作为感知距离

FoMo: Forking Moment in Generative Trajectory as a Perceptual Distance

模型训练合成数据

摘要

基于参考的图像质量评估(IQA)指标旨在反映人类如何感知一对图像之间的感知距离。为了了解人类视觉系统 (HVS) 的运作方式,最近基于参考的 IQA 指标严重依赖于人类注释的数据。基于平均意见得分 (MOS) 的逐点评分为每个图像分配标量质量值,更适合注释,但大规模收集的成本过高,并且由于人类判断不一致而存在噪音。作为替代方案,两种选择强制选择 (2AFC) 成对标签因其可靠性和效率而受到欢迎,但它们仅捕获对之间的相对比较。在本文中,我们提出了一种完全自动化的数据生成管道,可以在图像对之间生成逐点感知距离标签,而无需任何人工注释。我们的方法利用扩散模型的生成动力学作为感知距离代理,其中图像的粗略结构在早期时间步长中生成,而精细细节在后期时间步长中生成。在生成过程早期分叉的图像仅共享粗略结构,并且在感知上相距甚远;分叉较晚的图像仅在细节上有所不同。我们证明扩散轨迹与人类视觉系统很好地吻合,并使用这个分叉时刻 FoMo 作为基于参考的距离标签来监督基于参考的 IQA 指标的训练。逐点标签支持任意图像对之间的通用比较,从而实现信息丰富的训练目标。跨不同骨干架构的广泛实验证实了我们的生成管道的有效性,在多个基准测试中优于人工注释的数据集。