论文

LOOMSUM:为忠实的长文本表摘要编织定量和叙述证据

LOOMSUM:Weaving Quantitative and Narrative Evidence for Faithful Long Text-Table Summarization

上下文与知识上下文工程

摘要

长文档通常将重要信息分布在大量的叙述段落和多个表格中,这使得忠实的总结特别具有挑战性。现有的方法可能会生成单独支持的定量事实和分析陈述,但将它们错误地关联起来,从而产生定量上合理但分析上不忠实的总结。在这项工作中,我们提出了 LOOMSUM,一个 无需训练 框架,它提取基于源的原子证据,将表格派生的事实与支持的叙述分析明确链接起来,并在生成之前规划话语结构。我们还引入了 Table-Grounded 忠实性 (TGF),这是一种声明级指标,可单独评估数字基础、分析支持和关系一致性。在文本表摘要基准 FINDSum 和 USTT 上进行的实验表明,LOOMSUM 改进了分析性 忠实性,同时保持了较高的摘要质量。人类评估发现与相应的人类判断之间存在积极的成分级关联。我们的关系一致性指标进一步表明,与通用事实指标相比,与人际关系判断的一致性更强,这表明明确的跨模式链接有助于减少支持的数量与不正确的叙述解释配对的错误。总之,这些发现表明,忠实的长文本表格总结不仅需要以单个事实为基础,而且还需要保留它们之间的关系。