知道何时退出：LLM 推理中动态弃权的原则框架

LLM 利用思想链推理通常会产生长且不正确的响应，从而浪费大量计算资源。弃权可以通过拒绝不太可能正确的输出来缓解这种情况。虽然大多数弃权方法决定在生成之前或之后保留输出，但动态中期生成弃权会考虑提前终止每个词元位置上没有希望的推理轨迹。先前的工作已经探索了这一想法的实证变体，但仍然缺乏对弃权规则的原则指导。我们对 LLM 的动态弃权进行了形式化分析，将弃权建模为正则化强化学习框架内的显式操作。弃权奖励参数控制计算和信息之间的权衡。我们证明，当价值函数低于该奖励时，放弃在一般条件下严格优于自然基线。我们进一步推导出一种原则性且有效的方法来近似价值函数。数学推理和毒性避免任务的实证结果支持我们的理论，并证明比现有方法提高了选择性准确性。