论文
有效支持较小时均匀离散扩散的统计最优性
Uniform Discrete Diffusion Models are Minimax Optimal for Estimating Distributions with Small Effective Support Size
摘要
离散扩散模型已成为离散产品空间生成建模的实际成功框架，但其统计泛化特性仍然知之甚少。由于语义或物理限制，文本或生物序列等离散现实世界数据通常集中在天文大环境空间的一小部分，但现有边界无法捕获这种分布结构，而是随着环境空间的大小进行缩放，从而产生几乎空洞的误差边界。我们通过推导由有效支持大小 $s_n(P_0)$（一种与样本大小相关的分布复杂性度量）控制的统计保证来解决均匀离散扩散（与掩蔽扩散并列的两种主要离散扩散范式之一）的这一差距。给定来自 $[K]^d$ 上未知数据分布 $P_0$ 的 $n$ 独立同分布 (i.i.d.) 样本，我们表明，通过适当选择网络大小和超参数，预期总变异 (TV) 损失缩放为 $O(\sqrt{s_n(P_0)/n})$，而预期 Kullback--Leibler (KL) 散度受 $O(\frac{1}{n}s_n(P_0)\log(eK^d/s_n(P_0))\log n)$ 限制。此外，我们还表明 TV 速率是极小极大最优，并且 KL 速率在 $\log n$ 倍数范围内是极小极大最优。总之，这些上限和下限表明，均匀离散扩散成功地避免了有效支持大小较小的分布的维数灾难：TV 错误率仅通过 $s_n(P_0)$ 依赖于环境状态空间大小，而相应的 KL 率仅产生对环境状态空间大小的额外对数依赖性。