论文
代理基准的本底噪声审核
Noise Floor Audit for Agent Benchmarks
摘要
我们使用匹配的 AST 评分,在官方 BFCL 多重和并行类别上审核 2 个提供商的 3 个本机工具调用端点的测量变异性。在温度 0 时,Groq 端点和支持思考的 Gemini 设置中的重新运行几乎是确定性的:翻转分数为 0.7%、2.0% 和 2.7%,平均运行相关性为 0.997、0.966 和 0.961。保留语义的提示扰动在所有端点上创建了更大的下限,中值扰动配对 SD 比重新运行配对 SD 大 11 倍到 58 倍。失败特征也会发生变化:畸形输出失败占任务失败的 30%、7% 和 <1%,因此边际准确率不仅隐藏了稳定性,还隐藏了失败模式。