论文
推理的影子价格：最优预算分配的经济视角
The Shadow Price of Reasoning: Economic Perspective on Optimal Budget Allocation for LLMs
摘要
推理时间扩展已成为增强大型语言模型性能的关键途径，但现实世界的部署受到严格的计算预算的限制。在这项工作中，我们将推理预算分配制定为受经济原理支配的全局约束优化问题。通过使用平移浪涌函数对每个查询的推理效用进行建模，我们得出了基于全局影子价格的最优分配策略，该策略在资源稀缺的情况下平衡边际效用。基于这一理论，我们提出了约束潜在效用均衡分配推理（CLEAR）。它执行理性放弃，并将资源从无力偿债的查询重新分配到接近其出现阈值的可解决的查询。对不同流量流的多个推理任务进行的广泛实验表明，CLEAR 显着改善了总词元成本与平均准确性的帕累托前沿。在资源稀缺的情况下，与统一分配相比，CLEAR 的全局准确性提高了 3 倍。
