论文
DeepWeaver:弥合开放式问答中的证据合成差距
DeepWeaver: Bridging the Evidence Synthesis Gap in Open-Ended Question Answering
摘要
检索然后生成管道通常用于为开放式问题生成深入研究的答案,但仅检索是不够的:LLM 必须将嘈杂且零散的证据组织成全面的、被广泛引用的答案。我们将此过程称为证据合成。然而,直接生成常常未充分利用证据,引用不一致,并将不同的信息折叠成肤浅的摘要,从而暴露了检索和生成之间的证据合成差距。因此,我们提出了 DeepWeaver,这是一种新颖的框架,通过维护思想区块链(TBC)将嘈杂的检索证据编织成综合答案,思想区块链是一种将主张、显着信息、关键词和支持证据分组的结构化表示。 DeepWeaver 使用从属 TBC 来检查剩余证据、进行 TBC 修订并在最终生成之前发现新的主张。我们通过知识库和网络进行开放式 QA 评估 DeepWeaver,并引入 LoQA,一种用于证据合成的高密度基准。在多个 LLM 中,DeepWeaver 提高了 LoQA 上的内容充分性、引文基础和细节保留,同时在 DeepResearch Bench 上获得了更深入的见解和更高的引文质量。这些结果表明,证据编织是开放式问答中连接检索和生成的有效机制。我们的代码可在 https://github.com/KlozeWang/DeepWeaver 获取。