SafeLLM：提取作为安全关键环境中重写的抗幻觉替代方案

大语言模型 (LLM) 越来越多地用于访问组织文档，包括标准操作程序 (SOP)、人力资源政策和机构指南。然而，依赖于自由形式重写的检索增强生成（RAG）系统可能会引入幻觉以及完整性和简洁性之间不稳定的权衡，特别是在安全和合规性关键的环境中。目标：评估提取作为基于重写的 RAG 的抗幻觉替代方案，并比较跨文档类型和模型规模平衡精度、召回率和安全性的策略。方法：我们比较了多种提示策略，包括基于行号的来源选择、使用明确的安全注释提取相关指南句子，以及使用来源指南中的支持证据来完善草稿答案的多阶段管道。使用前沿规模和本地可部署模型对不同长度和结构的文档进行实验，包括当地 NHS 急性护理和肿瘤学指南以及英国范围内的 NICE 指南。使用自动指标和人类专家对相关性和完整性的评估来评估绩效。结果：行号选择取得了最强的结果，在大型和小型模型中都优于直接复制和以安全为中心的策略，同时保持高术语召回率（高达 95%）并与源文本紧密对齐。以安全为导向的方法提高了精度，但引入了系统性遗漏，而多级过滤进一步放大了这种权衡。性能因文档结构而异：基于行的提取在类似协议的内容中表现出色，而替代策略在更详细的文档上表现更好（高达 97% 的术语召回率）。