贝叶斯扩散模型中泛化相变的精确信息论

扩散模型如何规避维数灾难，从有限的训练集中学习高维空间上的复杂分布，而不是记住它，仍然是一个基本谜团。为了解决这个问题，我们引入了分析上易于处理的贝叶斯信息受限扩散（BIRD）模型，其中每个像素观察有关噪声数据的受限信息。 BIRD 模型通过使用贝叶斯后验推断哪个过去的训练样本产生了当前的受限观察来对扩散进行时间反转。该模型类概括了使用空间局部信息限制的现有分析扩散模型。我们表明，空间局部 BIRD 模型在 UNet 和 DiT 等不同架构中非常接近经过训练的扩散模型 \textit{训练早期}。在数据分布的最小假设下，我们在训练数据量、反向生成过程中的时间和信息量限制的联合空间中确定了记忆和泛化之间的信息论相界：当受限噪声观测值和训练数据之间的互信息超过训练点的对数数时，BIRD 模型会进行记忆，否则进行泛化。一系列数据集的实验证实了我们理论上预测的转变位置。我们发现生成过程接近记忆的边缘：空间局部 BIRD 模型和早期训练扩散模型都通过随着时间的推移越来越多地限制信息来跟踪记忆-泛化阶段边界。总的来说，我们的结果揭示了生成人工智能中信息限制对于规避维数灾难的基本作用。