Eon 时代：企业代理隐藏知识的基准测试

在 Era by Eon 基准测试中，每个问题都规定了其答案的规则，代码根据生成的公司数据计算答案。当代理可以运行代码时，四个最强的模型各自回答 27 个此类问题中的 22 到 25 个，因此基准测试几乎无法将它们分开。我们添加了八个取决于隐藏事实的问题模板。没有任何问题或文件说明隐藏的事实，而保存它的记录似乎显示了其他东西。其他数据也暗示了这一点。例如，销售系统显示客户由于时间原因放弃了购买。在录音通话中，客户将故障归咎于停电。对于每个生成的公司，代码都会填充每个模板并计算准确的答案，而无需语言模型。我们评估了 12 名代理商。每个模型都将一个模型与一个代理程序配对，该程序将其连接到公司的系统。最好的智能体在 24 次尝试中回答了 18 次，每个问题回答 3 次。六个模型中的四个对于任何程序最多回答 24 个中的 6 个。最难的问题需要从几个类似的记录中选择一个，例如客户签署了三个续订优惠中的哪一个。所有特工在 84 次尝试中仅正确回答了两个此类问题。