打破似然陷阱：大语言模型 解码的方差校准调制

在开放式生成中，LLM经常陷入“似然陷阱”，其特点是重复退化和词汇枯燥，导致机器生成的文本与人类编写的文本之间存在差异。虽然事后尾部截断（例如 Top-p、Min-p）避免了从不可靠的尾部进行采样，但它可能会通过从未校准的头部进行过度采样，从而使生成与人类词汇偏好不一致；固定标量重复惩罚反过来又忽略了 logits 分布的规模如何在推理步骤中变化，这可能会破坏语义连贯性。为了解决这两个缺点，我们提出了方差校准调制（VCM），这是一种 无需训练 预解码干预。 VCM 通过两种动态机制在截断之前直接重塑概率分布：(1) 通过 PMI 的上下文 Searchlight，它自然地抑制全局停用词并提升上下文诱发的标记，以及 (2) 自适应自去偏差，它利用实时 logits 标准偏差来提供尺度不变的惩罚。在开放式生成、事实 QA 和数学推理的实验中，我们表明 VCM 始终如一地缓解了似然陷阱。 VCM 的计算开销可以忽略不计，与现有的解码策略集成，提高了多样性和一致性，特别是在较高的解码温度下，提高了推理准确性。我们的代码在 GitHub 上公开可用：https://github.com/AetherDing/VCM