论文
具有随机特征得分和流形数据的扩散模型的渐近学习曲线
Asymptotic Learning Curves for Diffusion Models with Random Features Score and Manifold Data
摘要
我们研究了当低维流形支持数据分布并且使用随机特征神经网络对分数进行参数化时，去噪分数匹配的理论行为（与扩散模型相关的学习任务）。我们推导出高维限制下的测试、训练和评分误差的渐近精确表达式。我们的分析表明，对于线性流形，学习得分函数所需的样本复杂性与流形的内在维度而不是环境维度成线性比例。也许令人惊讶的是，一旦我们有了非线性流形，低维结构的好处就开始减弱。这些结果表明扩散模型可以从结构化数据中受益；然而，对特定结构类型的依赖是微妙而复杂的。