论文

Conformal Thinking:计算预算下的推理风险控制

Conformal Thinking: Risk Control for Reasoning on a Compute Budget

模型推理测试时计算扩展

摘要

推理型大语言模型(LLM)实现了测试时扩展,数据集级准确率随 token 预算增加而提升,这催生了自适应推理——在 token 能提升可靠性时投入 token,而在额外计算不太可能有帮助时尽早停止。然而,设定 token 预算以及自适应推理的阈值是一个实践难题,涉及根本性的风险-准确率权衡。我们把预算设定问题重新表述为风险控制:在最小化计算的同时限制错误率。我们的框架引入一个上限阈值,在模型有信心时停止推理(冒着输出错误结果的风险),以及一个新颖的参数化下限阈值,提前终止不可解的实例(冒着过早停止的风险)。给定目标风险与一个验证集,我们使用免分布风险控制来最优地设定这些停止机制。对于存在多个预算控制准则的场景,我们纳入效率损失,以选出计算上最高效的退出机制。在多种推理任务与模型上的实证结果表明,我们的风险控制方法行之有效,在遵守用户指定风险目标的同时,从下限阈值与集成停止机制中获得计算效率收益。