Era by Eon：具有精确真值的生成式企业环境Agent基准

企业记录系统的大语言模型智能体无法根据客户生产数据进行评估，并且现有的替代品无法提供基本事实。我们推出 Era by Eon Benchmark，用于评估使用企业工具的 LLM 智能体。该基准是围绕一家完全虚构的公司建立的。它包括产品模拟器、公司特定的内部数据库、基准问题和计算答案。行业、公司规模、商业模式、应用程序组合和种子定义了每家公司。一张种子实体图向 Salesforce、Zendesk、Slack、Gong 和其他产品的模拟器提供共享的公司数据。问题条件生成器为内部数据库创建模式和记录。在生成特定于数据库的事实之前，它从同一图中获取共享实体、键和值。因此，两种机制都描述了一个一致的企业资产。每个预期答案都是根据最终记录计算出来的，因此评分是准确的。设计和答案检查验证内部数据库。现实记分卡和对抗性检测器验证实体图。在 23 家生成的公司中，平均真实度得分从 61.8 上升到 97.0，其中零条记录被标记为合成。在报告的模拟器与赛道比较中，9 个模型回答了相同的 33 个问题，每个模型回答了 3 次。准确度估计范围为 42.4% 至 76.8%，36 个成对差异中的 3 个在校正后仍得到支持。