VerifAI：用于生物医学问答的可验证开源搜索引擎

我们推出 VerifAI，这是一种用于生物医学问答的开源专家系统，它将检索增强生成 (RAG) 与新颖的事后声明验证机制集成在一起。与标准 RAG 系统不同，VerifAI 通过将生成的答案分解为原子声明，并使用微调的自然语言推理 (NLI) 引擎根据检索到的证据对其进行验证，从而确保事实一致性。该系统由三个模块化组件组成：(1) 针对生物医学查询优化的混合信息检索 (IR) 模块（MAP@10 为 42.7%），(2) 在自定义数据集上微调以生成引用答案的引文感知生成组件，以及 (3) 以最先进的精度检测幻觉的验证组件，在 HealthVer 基准测试中优于 GPT-4。评估表明，与零样本基线相比，VerifAI 显着减少了幻觉引用，并为每个声明提供了透明、可验证的谱系。包括代码、模型和数据集在内的完整管道都是开源的，以促进高风险领域中可靠的人工智能部署。