论文
扩散得分函数的小波分析
Where the Score Lives: A Wavelet View of Diffusion
摘要
基于得分的生成模型已能生成多种视觉上可信的图像。CNN、U-Net与Transformer都被用于扩散模型的得分近似网络,但架构选择如何影响生成行为仍缺少解释。研究以二维正交小波基展开构造可解析求解的得分函数参数化,并由数据分布的矩推导可解释的最优得分函数。该表示支持不依赖特定架构的、基于矩的分析,揭示哪些数据分布属性对去噪最重要。得分计算模型可部分模拟U-Net、CNN等架构的相关归纳偏置,帮助解释不同得分网络为何产生不同生成行为。由于得分函数可通过数据矩求解,该方法也有助于理解数据分布与得分网络的相互作用。