Reinforced Agent：面向工具调用智能体的推理时反馈

工具调用智能体在工具选择、参数准确性与范围识别上接受评估，然而LLM轨迹评估本质上仍是事后性的。这类评估与主动执行循环脱节，所识别的错误通常要通过提示调优或重新训练来解决，从根本上无法实时纠正智能体的航向。为弥合这一差距，我们在推理时将评估移入执行循环：由专门的审查智能体在执行前评估临时工具调用，把范式从事后恢复转变为主动评估与错误缓解。在实践中，该架构在主执行智能体与次级审查智能体之间建立了清晰的关注点分离。与任何多智能体系统一样，审查者在纠正某些错误的同时也可能引入新错误，但据我们所知，此前尚无工作系统性地度量这种权衡。为量化这一权衡，我们提出Helpfulness-Harmfulness指标：helpfulness度量反馈纠正了基础智能体错误的百分比；harmfulness度量反馈损害了正确响应的百分比。这些指标通过揭示给定模型或提示是否带来净正值，直接指导审查者的设计。我们在BFCL（单轮）与Tau2-Bench（多轮有状态场景）上评估该方法，不相关性检测取得+5.5%、多轮任务取得+7.1%的提升。我们的指标显示审查者模型的选择至关重要：推理模型o3-mini取得3:1的收益-风险比，而GPT-4o为2.1:1。通过GEPA进行自动提示优化可再增加+1.5-2.8%。综合来看，这些结果展示了执行与审查分离的核心优势：审查者可以通过模型选择与提示优化得到系统性改进，而无需重新训练基础智能体。