论文
通过费舍尔几何理解潜在扩散性
Understanding Latent Diffusability via Fisher Geometry
摘要
扩散模型经常在潜在空间中退化,但其形式原因仍然知之甚少。我们通过沿扩散轨迹的最小均方误差(MMSE)的变化率来量化潜在空间扩散性。我们的框架将该 MMSE 率分解为费舍尔信息 (FI) 和费舍尔信息率 (FIR) 的贡献。我们表明,等距嵌入保留了内在 FI,并为具有受控弱体积失真的更广泛的双 Lipschitz 编码器建立了定量的内在 FI 界限,而 FIR 则由编码器和数据几何之间的相互作用控制。我们的分析将高斯平滑 FIR 的局部稳定性界限中的四个几何贡献分开:维度压缩、切向失真、高频编码器曲率和数据流形曲率。跨不同自动编码架构的实验为理论确定的几何机制提供了定性支持,并表明经验 FI 和 FIR 跟踪测试设置中生成质量和潜在空间几何的多种度量。我们建立 FI 和 FIR 作为理解潜在扩散性的综合分析框架。