Gram-MMD：用于图像真实感评估的纹理感知指标

评估生成图像的真实感仍然是生成建模中的一个基本挑战。 Frechet Inception Distance (FID) 和 CLIP-MMD (CMMD) 等现有的分布度量在语义级别上比较特征分布，但可能会忽略与区分真实图像和生成图像相关的细粒度纹理信息。我们引入了 Gram-MMD (GMMD)，这是一种现实主义度量，它利用根据预训练骨干网络的中间激活计算的 Gram 矩阵来捕获特征图之间的相关性。通过提取这些对称 Gram 矩阵的上三角部分并测量真实图像的锚分布和评估分布之间的最大平均差异 (MMD)，GMMD 生成一种表示，该表示以比全局嵌入更细的粒度对纹理和结构特征进行编码。为了选择度量的超参数，我们采用了基于应用于 MS-COCO 图像的受控降级的元度量协议，通过 Spearman 的等级相关性和 Kendall 的 tau 来测量单调性。我们使用各种主干架构（包括 DINOv2、DC-AE、Stable Diffusion 的 VAE 编码器、VGG19 和来自 LPIPS 的 AlexNet 主干架构）在 KADID-10k 数据库和 RAISE 真实性评估数据集上进行实验。我们还在跨域驾驶场景（KITTI / 虚拟 KITTI / 斯坦福汽车）上证明，由于其语义偏差，CMMD 可能会错误地将真实图像排名为比合成图像更不真实，而 GMMD 保留了正确的排序。我们的结果表明 GMMD 捕获了现有语义级指标的补充信息。