迈向查询无关的检索增强生成评估：查询覆盖与声明可验证性

检索增强生成通过将响应锚定于检索到的证据来提升大语言模型的事实性，但现有评估框架难以在从封闭式事实查询到开放式解释请求的多样化用户查询范围内，提供一致、细粒度的诊断。我们提出Q-CARE，一个查询无关、完全免参照的框架，通过将查询分解为子查询、将答案分解为原子声明来实现细粒度评估。Q-CARE建立了基于查询覆盖与声明可验证性的统一评估原则，产生覆盖感知的检索器指标（C-Prec@k、C-nDCG@k）与声明级生成器指标（Completeness完整性、Conciseness简洁性与Verifiableness可验证性）。在覆盖八个数据集的人工标注基准上，Q-CARE与人类判断的相关性高于包括RAGEval和RAGChecker在内的四个现有检索增强生成评估指标，证明其作为可靠自动化评估框架的有效性。代码与数据已在 https://github.com/DISL-Lab/Q-CaRE-COLM-26 公开。