沙丘社区
论文

利用同行上下文离群检测减少基于LLM的科学文献分析中的幻觉

Reducing Hallucinations in LLM-based Scientific Literature Analysis Using Peer Context Outlier Detection

Daniel Xie, Maxwell J. Jacobson, Adil Wazeer, Haiyan Wang, Xinghang Zhang, Yexiang Xue
模型推理上下文与知识推理验证与自校正上下文工程

摘要

减少大语言模型 (LLM) 中的幻觉对于提高大型文本语料库数据提取的准确性至关重要。当前的方法，例如提示工程和思维链提示，专注于单个文档，但未能考虑整个语料库中的关系。本文介绍了对等上下文异常值检测 (P-COD)，这是一种利用文档之间的关系来提高提取准确性的新颖方法。我们的应用领域是科学文献综述，具有相似实验设置的论文应该得出相似的结论。通过将提取的数据与语料库中经过验证的同行信息进行比较，我们调整置信度分数并标记低置信度结果以供专家评审。由同行验证支持的高置信度结果被认为是可靠的。我们的实验证明，在 6 个科学领域的异常值检测精度高达 98%，这表明我们的设计减少了幻觉，增强了对自动化系统的信任，并允许研究人员专注于模棱两可的案例，简化了数据提取工作流程。

利用同行上下文离群检测减少基于LLM的科学文献分析中的幻觉
图 1：对等上下文异常值检测背后的高级思想。每个点代表一篇科学论文，颜色表示实验结果值。语义相似的论文（意味着它们共享相似的研究方法）在这个向量空间中紧密地定位在一起。黑旗标志着异常值，这是由于实验结果与其语义相似的同行相比存在显着偏差而被标记的数据点。这种差异（以颜色偏差突出）表明 LLM 提取中存在潜在的不一致。我们的方法识别并标记令人惊讶的数据点以供人工审查，从而增强自动科学数据提取的信任度和准确性。