通过自监督原则评估扩散模型的表示空间

扩散模型已经表现出卓越的生成能力，并且也成为强大的自我监督表征学习者，但这两种能力之间的联系仍然很少被探索。受到自监督学习（SSL）的启发，我们引入了一个联合评估扩散模型的表示和生成能力的框架。具体来说，我们将特征分解为不变分量和残差分量，并推导出不变污染比（ICR），这是一种基于 Fisher 的度量，用于量化残差变化如何污染特征空间中的不变信号。我们使用这个框架来分析扩散模型的判别行为和生成行为。在表示方面，我们发现不变性在中间噪声水平处达到峰值，这也产生了最佳的下游分类性能。在生成方面，我们研究了训练如何在数据有限的情况下从真正的泛化到记忆的转变，并表明 ICR 作为早期学习的敏感训练时间指标：沿费舍尔方向增加残余能量标志着记忆的开始，可以仅从训练特征中检测到，无需外部评估器或保留测试集。总的来说，我们的结果表明，可以通过学习表示的几何形状从自我监督的角度来监控扩散模型。