论文
跨平台认知验证,提高人工智能生成的新闻摘要的事实可靠性
Cross-platform epistemic verification for improving factual reliability in AI-generated news summarization
摘要
这项研究提出了多源证据共识验证(MECV),这是一种用于人工智能生成的新闻摘要的事后幻觉纠正框架。 MECV 不依赖于单一检索渠道,而是聚合来自多个异构来源的证据,包括源文档、维基百科和开放网络检索。该框架进一步结合了多 LLM 陪审团机制,通过跨验证者模型的矛盾感知共识评分来估计事实可靠性。被确定为可能不受支持的声明将通过迭代最小编辑细化进行修改。所提出的框架在 SummEd 基准上进行评估,使用 GPT-4o-mini 和 DeepSeek-Chat 作为验证者评审团,以 Qwen-Plus 作为协调者。实验结果表明,MECV 提高了事实一致性,同时保留了原始摘要的语义结构。研究结果进一步表明,异构证据来源之间的一致性可以作为识别人工智能生成的摘要中事实不确定性的有用信号,包括在金融新闻聚合等信息敏感领域。这项研究通过引入用于幻觉纠正的多源验证框架,并展示基于共识的验证对于提高人工智能生成的新闻摘要的事实可靠性的价值,为可信人工智能和自动化新闻的研究做出了贡献。