重新设计和审核深度研究写作以确保报告的真实性

对深度研究 (DR) 系统进行基于标题的评估通常会掩盖生成的报告中细粒度的事实错误。我们引入了 CLAIMPROBE，这是一种声明级审计，可将 DR 报告分解为声明，并根据检索到的证据衡量幻觉、错误归因、引文卫生和必要事实回忆。使用 CLAIMPROBE，我们发现强大的 DR 管道可能会忽略关键证据并错误归因声明，即使其评分保持稳定也是如此。然后，我们提出 CLAIMWRITER，一个基于分层声明的编写器，它提取源事实，将它们映射到查询派生的大纲，并从源链接的声明表示中起草每个部分。在之前的三个 DR 框架中，仅用 CLAIMWRITER 替换报告编写者可将幻觉减少 2.6 至 4.5 倍，将必要事实回忆提高 1.2 至 1.7 倍，同时在很大程度上保持整体报告质量。 CLAIMWRITER 还支持本地化修订：当源发生变化时，它会以更新方法中最高的速率将更改后的源事实传播到修订后的报告中，同时也更具成本效益。