离散扩散模型的与词汇量大小无关的收敛：伴随方程导出正确的空间

离散扩散已成为语言、视觉和生物学等各种应用中生成建模的领先框架。然而，现有的收敛理论表现出根本的局限性。基于 KL 的分析在诸如屏蔽分布之类的奇异先验下会出现分歧，而总变异 (TV) 的界限取决于词汇量 $S$，并且对于词汇表包含数十万个标记的现代语言任务来说变得空洞。我们开发了一个统一的基于伴随方程的框架，该框架在任何积分概率度量（IPM）中建立与词汇大小无关的收敛保证。据我们所知，我们的边界是第一个完全不含 $S$ 的边界，并且适用于屏蔽先验和统一先验。重要的是，我们的结果可以将现有的步骤复杂性保证扩展到任何 IPM。此外，我们的理论仅依赖于单个标准速率矩阵正则性假设并适用于一般先验。五项新技术推动了我们的改进： 1. 通过伴随方程而不是直接使用概率度量在可观测量空间中工作； 2. 产生任何 IPM 界限的规律性分析； 3. 耦合参数，消除统一转换下的 $S$ 依赖性； 4. 分数边际取消和 5. 退出路由技术，消除屏蔽转换下对美元的依赖。因此，我们的框架与先前的分析截然不同，并避免了 pathspace-KL 和现有基于电视的方法的缺点。除了收敛界限之外，我们的框架为离散扩散模型的进一步理论研究提供了一个多功能工具包，包括损失函数和与词汇量大小无关的步骤复杂性的原则选择。