大型语言扩散模型的不确定性量化

大型语言扩散模型 (LLDM) 正在作为自回归模型的替代方案出现，通过更高的并行性提供更快的推理。与自回归 LLM 类似，它们仍然容易产生幻觉，因此可靠的不确定性量化 (UQ) 对于安全部署至关重要。然而，现有的 UQ 方法从根本上与这种新范式不一致：它们假设自回归分解或使用昂贵的重复采样，从而否定了 LLDM 的效率。在这项工作中，我们首次对 LLDM 的 UQ 进行了系统研究，并提出了从迭代去噪过程中导出的轻量级、零样本不确定性信号，利用了中间生成、词元重掩动态和去噪复杂性。我们通过将掩蔽扩散可能性与基于轨迹的语义相异性相结合，进一步将最先进的 UQ 方法应用于 LLDM。我们证明预期轨迹相异性降低了掩蔽扩散训练目标的下限，这促使其用作不确定性得分。跨三个任务、八个数据集和两个模型的综合实验表明，我们的方法实现了巨大的性价比权衡：它接近最强的基于采样的基线，同时计算开销降低了 100 倍。我们的工作表明 LLDM 可以同时提供快速推理和可靠的幻觉检测。