SkillTV-Bench：评估评审模型对技能增强Agentic执行的判断能力

智能体代理通过工具使用和环境交互执行长期任务，评估从最终响应评分转向验证完整的执行。对于技能增强的代理，额外需要在任务时间内编码的程序知识，因为这种知识指示需要检查的证据以及哪些失败是任务关键性的。然而，现有的判例基准往往暴露最终响应或静态轨迹，并且很少结合直接可检查的证据和环境。因此，我们引入了SkillTV-Bench，这是一个包含来自50个任务的1681个真实代理轨迹的基准测试集，旨在评估LLM作为法官和代理作为法官的方法中的技能感知轨迹验证。此外，我们还提出了SkillTV-Evolve，这是一种外部化验证知识为可重用的JudgeSkill，指导代理法官进行有针对性的检查并基于证据作出结论。在独立开发池上，自动化的进化循环进一步使用错误判例来细化JudgeSkill。在SkillTV-Bench上，经过细化技能后，该代理法官的准确率提高了14.8个百分点。在离线抽样选择轨迹成功率方面，它从单个抽样后的22.9%提高到十次抽样后的45.5%。代码和数据可在https://github.com/HanZhi306/SkillTV-Bench处获取。