TRIAGE：值得信赖的检索仪器和图形评估

支持基于图的检索增强生成 (Graph-RAG) 的知识图 (KG) 越来越多地由 LLM 驱动的提取自动构建，而不是由专家策划。正确的评估需要对所有相关阶段进行检测：提取、图形构建和推理，足够连贯地定位故障，以便某一阶段的故障最终不会被发现为错误答案。我们引入了 TRIAGE，这是一个用于自动化、基于文档的图 RAG 的阶段感知仪器框架，它不仅询问底层图是否可信，还询问可以以什么成本查询它。 TRIAGE 将阶段特定的、可独立解释的指标附加到三个阶段：KG 实施（三重置信度、源覆盖率以及模式和规范化检查）、专家的 KG 验证（图级结构质量，仅在参考可用时作为离线校准计算正确性和完整性）和 KG 使用（检索覆盖率、忠实性 和检索成本）；部署的指标不需要标准标注，需要标准标注的指标仅用作离线校准。在使用时，这些指标形成了必要条件的诊断链，其第一个断开的链接定位了故障，并且诊断映射到可以补救它的阶段杠杆：提取、图形和模式或检索。 TRIAGE 是一个理论框架，具有概念验证和可重复的评估协议。