ENTLORE：企业问答中潜在组织推理的基于图的基准

企业问答的框架是检索内部文档并生成有根据的答案。然而，日常企业记录是工作副产品，其中所需的组织关系在异构源中仍然是隐含的。现有的基准提供了现实的多源证据，但通常会具体化预定义的答案路径，因此测试陈述事实的组成，而不是恢复语料库中缺少的目标关系。我们将后者称为潜在组织推理能力。我们引入了ENTLORE，一个基于图的基准构建框架，它根据常规文档、权威组织表格和运营记录重建经过审计的企业世界。版本化的组织约定证明真值图中的派生关系，从而实现完整的标准答案和证明证书。一致的匿名发布仅公开文档语料库，同时保留私有结构和目标关系。 ENTLORE 包含来自三种源类型的 2,341 个文档和 907 个问题，涵盖显式查找、跨源组合和潜在组织推理，并在 56 种模型和访问配置中进行了评估。将发布的世界构建为归纳实体图或可导航知识库可以提供最强的可部署结果。然而，提供参考文档仍然有 30.4% 的潜在问题没有得到解答，而显性问题和综合性问题分别为 12.6% 和 6.2%。因此，企业质量保证不仅取决于文档召回，还取决于隐含的组织关系是否可用。基准测试、数据和代码可在 https://github.com/scitix/entlore 上公开获取。