扩散生成中的特征信息动态

摘要

扩散模型通过连续的降噪问题生成数据，并且被广泛观察到在精细细节之前揭示粗糙结构。然而，这种直觉主要是经验性的和定性的。我们引入了特征信息动力学，这是一种信息理论框架，用于在扩散过程中生成特征时进行本地化。使用 I-MMSE 恒等式，我们将特征互信息变化率与最佳无条件和特征条件去噪损失之间的差距联系起来，产生特征信息密度的实用估计器。我们进一步开发了一种链式分解，将特征层次结构中的共享信息与增量信息分开。我们首先使用这个框架来定量确认像素扩散中的谱自回归，然后将分析扩展到频率之外：在类 $\to$ 掩码 $\to$ Canny 条件链下，每个特征的信息密度在像素、SDVAE、VAVAE 和 RAE 之间有所不同，暴露了这些表示之间的根本差异，并表明有序生成可能有利于训练扩散模型。我们的代码可在 https://github.com/AI4Science-WestlakeU/feature-information-dynamics. 获取

扩散生成中的特征信息动态：论文原图 — 图 1：链式特征信息动态的像素空间示例。顶部：干净的图像 $\boldsymbol{X}$ 与增加空间特异性的嵌套特征层次结构配对 - 类标签 ($\mathcal{Y}_{\leq 1}$)、分割掩模 ($\mathcal{Y}_{\leq 2}$) 和 Canny 边缘 ($\mathcal{Y}_{\leq 3}$)。对累积束的调节逐渐限制扩散模型生成的样本（底行）：无条件模型产生任意自然图像；类修复语义同一性；添加遮罩修复对象级空间支持和姿势；添加 Canny 还可以修复局部边界结构。右图：在每个 SNR $\gamma$ 处，对更丰富的捆绑进行调节会减少 $m_{k}(\gamma)$（右上）；方程中的链式 MMSE 间隙 $\Delta^{\mathrm{chain}}_{k}$ (17)（右中）产生每层信息密度 $D^{(\log\gamma)}_{k\mid k-1}$（右下），它定位沿轨迹每个特征贡献其增量信息的位置。在不同 log-SNR 值处达到峰值的曲线是分层组织的去噪轨迹的操作特征。