论文

PubMed Reasoner:基于动态推理的循证生物医学问答检索

PubMed Reasoner: Dynamic Reasoning-based Retrieval for Evidence-Grounded Biomedical Question Answering

上下文与知识检索增强

摘要

值得信赖的生物医学问答(QA)系统不仅必须提供准确的答案,而且还必须用当前的、可验证的证据来证明它们的合理性。检索增强方法部分解决了这一差距,但缺乏迭代优化不良查询的机制,而自我反思方法只有在完全检索完成后才会启动。在这种背景下,我们引入了 PubMed Reasoner,这是一种生物医学 QA 代理,由三个阶段组成:自我批评查询细化评估 MeSH 术语的覆盖范围、对齐和冗余,以增强基于部分(元数据)检索的 PubMed 查询;反思性检索分批处理文章,直到收集到足够的证据;基于证据的响应生成会产生带有明确引用的答案。具有 GPT-4o 主干的 PubMed Reasoner 在 PubMedQA 上实现了 78.32% 的准确率,略高于人类专家,并且在 MMLU 临床知识上表现出持续的进步。此外,LLM 作为法官的评估更喜欢我们的回答:推理合理性、证据基础、临床相关性和可信度。通过对权威来源进行检索优先推理,我们的方法为临床医生和生物医学研究人员提供了实际帮助,同时控制了计算和词元成本。