大语言模型 中对比解码的注意力引导层选择

DoLa 等对比解码方法通过对比成熟层和不成熟层的输出分布来提高 大语言模型 (LLM) 的真实性。然而，DoLa 的动态层选择仅依赖于输出词汇分布的差异。在这项工作中，我们提出了三种注意力引导策略：Attention-JSD、Attention-Entropy-Max 和 Attention-Entropy-Min，它们利用内部自注意力机制携带的结构信息作为层选择的信号。 TruthfulQA 上的实验结果表明，我们的策略，特别是 Attention-JSD 和 Attention-Entropy-Min，始终优于原始 DoLa。我们观察到多答案指标（MC2 和 MC3）的显着增益，这表明注意力分布可以为解决事实知识提供比输出词汇分布更敏感的信号。