Fréchet距离测量什么？定向分解

摘要

Fréchet 距离是评估跨领域生成模型的事实上的标准，对于图像显示为 FID，对于视频显示为 FVD。它总结了单个标量中生成分布和参考分布之间的差异，较低的值通常被解释为更好的生成质量。然而，这种标量视图可能会掩盖驱动比较的因素。例如，在 COCO 数据集中，增加扩散采样步骤数会提高 ImageReward 分数，但会恶化（增加）FID。受到这种不匹配的激励，我们试图通过揭示差异所在来使弗雷谢距离更容易解释。为此，我们引入了方向性 Fréchet 距离，即最佳传输位移在给定方向上的预期平方投影。在我们的图像、视频和蛋白质案例研究中，我们发现少数可解释的方向占了大部分距离。我们使用这些方向来解释由 CLIP 嵌入表示的语义概念方面的 FID 增加，量化 FVD 对每帧外观的偏差，并重新审视蛋白质 FID 的解释。我们在 https://github.com/yhlee-add/directional-fd. 开源我们的代码库

Fréchet距离测量什么？定向分解的原论文方法或结果图 — 图 2：使用 SD1.5、$50$ 步骤和 COCO 投影到 $M$ 的前三个特征向量上的参考特征和生成特征。每个点都与标题的参考和生成的投影配对。内部绘制了参考（红色）和生成的（蓝色）边缘分布，虚线为$y=x$。对于$e_{1}$，这些点略高于$y=x$，表明生成集向$+e_{1}$移动。对于 $e_{2}$，点垂直集中，表明生成的集合具有较小的方差，对于 $e_{3}$ 反之亦然。