论文

ElementCheck:通过句子元素进行复杂性感知的长文本事实性评估

ElementCheck: Complexity-Aware Long-Form Text Factuality Evaluation via Sentence Elements

模型评测评测方法与指标

摘要

现有的长格式事实性评估依赖于分解-检索-验证管道。然而,该管道受到声明分解和固定验证粒度带来的噪声的影响,导致结果不可靠。我们提出了 ElementCheck,这是一个复杂性感知框架,可通过句子元素验证长格式输出。 ElementCheck 不是将句子统一分解为原子子声明,而是提取原始句子中通过可验证连接显式链接的实体对作为元素,并将它们组织成元素图。图拓扑为估计句子复杂度提供了结构信号,可以对简单句子进行直接验证,对复杂句子进行有针对性的元素级细化和验证。为了支持细粒度的评估,我们通过将 FastFact-Bench 中的孤立声明映射回其源句子来构建新的基准 \textbf{FastFact-Sent}。 FastFact-Sent 和两个特定领域基准测试的实验表明,ElementCheck 持续改进了五个骨干模型的事实性验证,同时保持了有利的准确性与成本权衡。进一步的分析表明,复杂性感知验证减少了不必要的重新验证,并保持了不同主干网的稳定性。该代码可在 \href{https://github.com/gudehhh666/elementcheck.git}{Here} 获取。