离散扩散模型学到什么？

离散扩散模型学习什么：降噪器、得分比或桥接插件预测器？在跳跃率的层面上，这些是不同坐标中的一个对象，并且读取错误坐标中的神经网络会改变正在训练和采样的过程。从对任何噪声过程（包括边界项）的连续时间马尔可夫链（CTMC）ELBO 的严格推导开始，我们证明了 \emph{Oracle Distance} 定理：负 ELBO 完全等于数据熵加上从 Oracle 逆向过程到学习过程的路径 KL，而不仅仅是一个界限。因此，其独特的优化器是给定当前噪声状态的真实反向跳跃率的条件期望，其不可约成本是前向过程$Z_t$破坏有关干净数据$Z_0$、$-\tfrac{d}{dt}I(Z_0; Z_t)$的信息的速率，因此每个噪声过程共享相同的最佳可实现的负ELBO：数据熵。对于具有标记分解噪声的序列，预言机投影会为优化器生成三个精确坐标：降噪器、腔（桥接插件）和得分，并在它们之间进行封闭式转换。该框架确定了文献中的每种损失实际上优化了哪些法则，将 MDM、UDM、SEDD 和 GIDD 作为特殊情况恢复；解释了为什么降噪器和腔在掩蔽扩散中一致，但在均匀扩散中却不一致；证明降噪器参数化使得均匀 ELBO 在初始化时发散，同时桥接插件保持有限；并在初始化时精确校准 ELBO 实现。每个身份都在精确可解的模型上进行数值验证，无需近似。