上下文保真度提升：通过水印启发的解码增强忠实生成

大语言模型 (LLM) 经常产生与输入上下文中提供的信息相矛盾或忽略的内容，这种现象称为 忠实性 幻觉。在本文中，我们提出了上下文保真度提升（CFB），这是一种轻量级通用解码时间框架，通过增加源支持词元的生成概率来减少此类幻觉。受来自水印技术的 logits 整形原理的启发，CFB 根据输入上下文中词元的支持程度应用附加 词元级 logits 调整。具体来说，我们开发了三种增强策略：静态增强，对源支持的词元应用固定偏差；上下文感知提升，利用有上下文和无上下文的下一个词元分布之间的差异来缩放这种偏差；词元感知提升，根据源位置注意力和源范围语义相似性估计的局部相关性进一步重新分配自适应偏差。 CFB 不需要重新训练或架构更改，使其与各种 LLM 兼容。跨多个开源 LLM 的摘要和问答任务实验表明，CFB 以最小的生成开销持续改进 忠实性 指标。我们的实施是完全开源的。