局部可靠性过程奖励训练Agent按需搜索

高效的 Agentic 搜索需要大型语言模型 (LLMs) 来确定它们是否可以可靠地继续使用当前知识或需要额外的外部证据。基于最终答案正确性或轨迹级反馈的监督评估实际执行轨迹的表现。然而，观察到的轨迹性能是由随机生成、检索质量和下游推理共同决定的。因此，此类信号仅提供当前决策状态的可靠性以及检索到的证据如何改变其可靠性的间接证据。有效的奖励应该在需要外部信息时鼓励搜索，并支持有助于找到答案的搜索。为此，我们提出了一个元认知框架，用于训练 LLMs 根据中间推理状态的可靠性做出搜索决策。我们的框架估计局部结论的可靠性，以区分当前信息是否支持不进行搜索而继续进行，以及检索到的证据在多大程度上提高了可靠性。当前状态可靠性评分评估模型是否可以在没有搜索的情况下继续进行。搜索行动分数衡量检索到的证据如何改变估计的可靠性。这些分数共同定义了组相对策略优化 (GRPO) 的考虑可靠性的过程奖励，为搜索和非搜索行为提供更细粒度的监督。七个问答基准的实验表明，我们的方法比较强的 Agentic 搜索基线实现了更好的准确性与效率权衡。我们的代码和模型检查点将开源。