论文

判断比查找容易:预测示范选择的情境学习成功

Easier to Judge than to Find: Predicting In-Context Learning Success for Demonstration Selection

上下文与知识上下文工程

摘要

上下文学习(ICL)对于提示中出现的演示高度敏感,但选择它们的成本很高,因为可能的演示上下文和组合的空间是巨大的。我们认为示范选择\emph{判断比查找更容易}:预测特定查询-上下文对 $(q,D)$ 是否会成功比搜索最佳 $D^\star$ 更便宜且更通用。基于这一见解,我们提出了 DiSP,一种按难度对查询进行分层的采样和判断框架。 DiSP 运行随机演示试验来估计每个训练查询的成功率,训练轻量级路由器来预测查询的难度,并为采样演示训练特定级别的法官。在推理时,DiSP 在明确的预算下执行停止接受判断,在找不到合适的上下文时发出诊断风险标签。在 Llama~3--8B 和 Qwen~2.5--7B 的五个分类数据集上,DiSP 实现了最佳平均准确度,比强学习选择基线提高了高达 3.4\%,同时实现了高达 23\times$ 的端到端挂钟加速。