开源项目

Google ADK加入多次运行评测,支持跨回合评分与失败率判定

feat(eval): run each eval case N times in adk eval for steadier verdicts

智能体系统模型评测Agent任务评测评测方法与指标

概述

Google ADK原先在命令行重复评测同一案例需要用户自行编写外部循环。此次默认主线加入num_runs配置及adk eval --num_runs N参数,让每个用例在现有并发限制下运行多次,每次使用新会话,并用repetition_index保留所有运行的结果与历史。 评分可以按调用合并均值、先按运行求均值、取最差运行或计算通过率,也可针对不同指标和整个用例设置规则。尚未生成可评分结果就崩溃的运行不会被伪装成正常样本,默认导致用例失败,除非显式允许相应崩溃次数。默认仍运行一次;多次测量会增加模型与工具消耗。变更是主线新增评测机制,Apache-2.0,并不等于已经发布新的任务基准。