EDEN：由输出熵驱动的自适应分支解码

大语言模型（LLM）实现了卓越的生成性能，但其输出质量取决于解码策略。虽然基于采样的方法（例如，top-k、nucleus）和基于搜索和选择的方法（例如，束搜索、n 中最佳、多数投票）可以改进贪婪解码，但这两种方法都存在局限性：采样通常致力于单个路径，而无论任务复杂性如何，搜索通常都会花费过多的计算。为了解决这些问题，我们引入了熵引导解码（EDEN），这是一种即插即用、与模型无关的解码框架，它根据模型自身的不确定性自适应地分配计算，以更少的扩展来近似更高宽度的束搜索。在每个生成步骤，EDEN 估计输出词元分布的熵，并随熵单调调整分支因子，在高熵区域扩展更多候选，在低熵区域遵循更贪婪的路径，从而提高词元效率。跨复杂任务（包括数学推理、代码生成和科学问题）的实验表明，EDEN 相对于现有解码策略持续提高输出质量，实现比固定宽度束搜索更好的精度扩展权衡。通过将下一个词元选择视为噪声最大化问题，我们证明在相同的总扩展预算内，熵单调的分支因子可以保证找到比任何固定分支因子更好（即更有可能）的延续，并得出表征自适应分配优势的明确遗憾率。