MEDIAREF：用于媒体背景调查的公共知识库

基于 LLM 的检索增强生成 (RAG) 越来越多地用于自动事实检查 (AFC) 和相关任务。通过将 LLM 输出置于检索到的证据中，基于 RAG 的系统提供透明的理由，同时允许独立于底层模型更新外部信息。然而，现有的方法通常假设检索到的证据是可靠的，尽管现实世界的信息可能是冲突的、过时的，并且可能来自不可靠或有偏见的来源。最近关于“来源关键推理”的工作通过媒体背景调查（MBC）解决了这一挑战（Schlichtkrull，2024），它评估证据来源的可信度以支持下游事实验证。然而，生成 MBC 依赖于昂贵的专有搜索 API，限制了再现性。为了缓解这个问题，我们引入了 MEDIAREF，这是一个公开的网络来源文档知识存储，可以对 200 个媒体源的 MBC 生成进行可重复、低成本的评估。我们描述了一种用于构建和更新集合的可重复方法，评估了 MBC 生成任务中广泛使用的 LLM，并证明 MEDIAREF 通过自动和定性评估支持更高质量的 MBC 生成。