抽象概括中关系级幻觉评估的扎根分解框架

抽象文本摘要系统经常通过捏造或扭曲实体和事件之间的关系来生成流畅但不忠实的摘要。这种关系层面的幻觉破坏了生成摘要的可靠性，特别是在高风险领域。在这项工作中，我们提出了一个精炼且扎实的框架来评估抽象概括中的关系幻觉。我们通过引入依赖感知关系提取算法来提出经验关系幻觉指数（RHI），该算法结合了基于词形还原的标准化、基于命名实体的主题解析、被动代理恢复、否定感知动词建模、报告动词过滤、名义关系回退、分句传播和系统重复数据删除。这些增强功能提高了提取的关系三元组的结构保真度，并减少了评估期间的虚假匹配。此外，我们引入了 RHI 的标准化公式，以确保数据集和模型之间的尺度不变比较。修订后的指标将幻觉分解为可解释的组成部分，将关系幻觉指标聚合为标准化关系 忠实性 分数。对多个最先进的概括模型的广泛评估表明，与原文证据对齐的提取过程可以产生更稳定和更具辨别力的幻觉测量结果。所提出的框架推进了自动化关系级 忠实性 评估，并支持连贯性感知、幻觉敏感的模型分析。