均值到得分的离散扩散：用于得分熵的后验均值去噪器

得分熵离散扩散SEDD用不受约束的正得分比来参数化离散反向过程。正值能保证非负反向跳变率，却不能保证贝叶斯可实现性：噪声状态下的比率未必能由前向核下某个共同的干净词元后验产生。得分熵损失具有正确的总体最优解，但在偏离最优解时不强制这一约束。在训练后的纯均匀SEDD检查点中，约四分之一的完整得分向量违反坐标盒约束，超过一半虽在盒内，却仍与任何有效后验明显不相容；有限步采样时可能产生归一化前的负权重。将原始得分投影到桥多胞体可消除所有观察到的负权重，并在不改变采样器的情况下，将外部生成困惑度PPL从203.6降至175.1。 论文提出mean-to-score（M2S），先预测干净词元的后验均值，再通过依赖于核的精确线性映射转换为得分。该构造适用于满足温和支持条件、已知且按坐标作用的连续时间马尔可夫链。对于均匀噪声，它将概率单纯形映射到桥多胞体；对于吸收掩码噪声，对应目标严格恢复MD4。 在2,840万参数的CIFAR-10受控比较中，M2S将测试BPD从3.173降至3.129，并降低FID-50k；冻结摘要中的FID数值仍以未展开宏命令表示，未提供可读数值。在约2,620亿个OpenWebText词元位置上训练的1.7亿参数模型，在所有测试采样预算下优于所比较的纯均匀SEDD、GIDD及Neural CTMC检查点；128步时生成PPL为143.3，最强纯均匀基线为183.6。