Fréchet Inception Distance 的样本最优估计

Fréchet Inception Distance (FID) 广泛用于评估生成模型，但其经验代入估计器存在有限样本偏差 [BSAG18, CF20]。我们研究了当一种分布已知时，在具有有界平均距离和协方差的 $d$ 维高斯之间估计 FID 与误差 $ε$ 的样本复杂性 $n$。我们的贡献是三重的。 (1) 我们为经验代入估计器建立紧的有限样本 $Θ(\frac{d^2}{n})$ 偏差和 $Θ(\frac{d}{n} + \frac {d^2} {n^2})$ 方差界限，建立 $\gtrsim d^2$ 样本复杂性。 (2) 为了消除经验代入估计器的偏差，我们将 [CF20] 的 ${\rm FID}_\infty$ 估计器推广到任意阶 $k$ 的外推方法。我们进一步证明了在我们的框架下任何 $k$阶 外推的 $Θ(\frac{d^{k + 2}}{n^{k + 1}})$ 和 $Θ(\frac d n + \frac{d^2}{n^2})$ 的紧的偏差和方差界限。 (3) 我们引入了相对泰勒去偏 (RTD)，这是一种新的、计算高效的 FID 估计算法，使用受 U 统计启发的去偏技术。我们证明 RTD 实现了 $O(\frac d {ε^2})$ 样本复杂度，并证明这是最优的。我们为我们的新估算器提供了补充性的实证评估。我们对合成高斯的实验验证了预测的残余偏差并支持我们边界的严格性。在具有 Inception 嵌入的 ImageNet 上，RTD 在标准 50K 样本预算下实现了最低的平均估计误差，而我们的二阶方差感知外推估计器 (VALE$_2$) 仅使用 10K 样本即可在 50K 样本下实现与 FID$_\infty$ 相当的精度。