论文

基于演化上下文示例的自适应测试时算力分配

Adaptive Test-Time Compute Allocation with Evolving In-Context Demonstrations

模型推理测试时计算扩展

摘要

尽管扩展测试时算力能显著提升模型性能,现有方法要么依赖静态的算力分配,要么从固定的生成分布中采样。在这项工作中,我们提出一个测试时算力分配框架,联合适配计算花费的位置和生成执行的方式。我们的方法从一个预热阶段开始,识别简单查询并从测试集本身组装一个初始的问题—回答对池。随后的自适应阶段将更多计算集中在未解决的查询上,并通过演化的上下文示例重塑其生成分布——让每次生成以语义相关查询的成功回答为条件,而不是从固定分布重采样。在数学、代码与推理基准上的实验表明,我们的方法持续超越现有基线,同时消耗的推理时算力显著更少。