在正确的空间中扩散：潜在扩散性的系统研究

潜在扩散模型利用视觉分词器将图像压缩到潜在空间中，以实现高效的生成建模。然而，分词器更好的重建质量并不一定会转化为更好的生成质量，这表明潜在表示不仅应该通过保真度来评估，还应该通过其扩散性来评估。最近的研究对扩散友好的潜在空间提出了多种解释，包括语义可分离性、仿射等变性、分布均匀性、空间结构、谱平滑性和流形连续性。然而，这些属性通常在一组有限的标记器上进行验证，从而不清楚哪些因素最能预测下游生成质量，以及这些结论是否超出了引入它们的特定设置。在这项工作中，我们通过训练大量具有不同正则化策略、架构和潜在配置的标记器集合，并使用多个下游扩散主干对其进行评估，对潜在扩散性进行了系统研究。我们的分析确定了与生成质量一致相关的几个潜在属性，并在整个实验设置中表现出很强的概括性。除了现有的指标之外，我们还引入了速度不可约方差（VIV），这是对轨迹交叉引起的速度模糊性的度量。大量实验表明，VIV 是生成质量最稳定的预测因子之一。