APCD：用于可靠 大语言模型 生成的自适应路径对比解码

大语言模型 (LLM) 经常会因自回归解码中的错误累积而产生幻觉，其中次优的早期词元选择会误导后续生成。尽管多路径解码可以通过探索替代轨迹来提高鲁棒性，但现有方法缺乏确定何时分支以及如何调节路径间交互的原则性策略。我们提出了自适应路径对比解码（APCD），这是一种多路径解码框架，可通过自适应探索和受控路径交互来提高输出可靠性。 APCD 由两个部分组成：(1) 熵驱动的路径扩展，它延迟分支，直到预测不确定性（通过顶部候选标记上的香农熵来测量）指示多个看似合理的延续； （2）发散感知路径对比，它鼓励多样化的推理轨迹，同时随着预测分布发散而动态减弱路径间影响。八个基准测试的实验表明，在保持解码效率的同时，事实准确性得到了提高。我们的代码可在 https://github.com/zty-king/APCD 获取。