校准扩散语言模型的基于贝叶斯熵的重新排序

掩码扩散语言模型 (MDLM) 通过用模型预测迭代替换掩码token来生成序列。在每个去噪步骤中，解码器选择哪些位置有足够的信心来提交。现有的解码方法通常依赖于 softmax 置信度，这可能会被错误校准。我们引入 BayesER（基于贝叶斯熵的重新排序），这是一种事后贝叶斯解码框架，它使用预测不确定性来指导token承诺。在 BayesER 中，我们构建了一个以预训练的检查点为中心的轻量级近似后验，类似于 Laplace-LoRA，但没有训练 LoRA 适配器。我们对后验样本的预测进行平均，并使用预测熵来优先考虑可靠的位置。我们研究后验预测如何影响代码生成、数学推理、规划和分子生成等基准的位置排序和token选择。我们表明，BayesER 减少了序列级校准误差，同时保持或提高了相对于常见解码方案（包括置信阈值解码）的准确性。此外，在一个代码生成数据集上进行后验拟合可以减少另一个代码生成数据集上的校准误差，而无需重新拟合，这表明贝叶斯不确定性可以为更可靠的 MDLM 解码提供可转移信号。