论文

经证据锚定推理的多模态智能体病理学副驾驶

A Multimodal Agentic Pathology Co-pilot via Evidence Grounded Reasoning

上下文与知识知识图谱

摘要

病理学是现代医学的基石,准确的决策在很大程度上依赖于基于证据的实践。虽然人工智能 (AI) 具有改变临床工作流程的潜力,但人工智能与循证医学的交叉点仍未得到充分探索,原始尝试仅限于纯文本普通医学。在这项工作中,我们推出了 PathPocket,这是一款专为基于证据的病理学而设计的多模态 AI 代理副驾驶。我们构建了迄今为止最全面的病理学证据语料库,包含约 110,472 份公开和授权文件,涵盖从临床指南到专家意见的严格证据层次结构。在此精心分级的基础上,我们构建了一个大规模多模态病理学超图,其中包含超过 455 万个实体和 710 万个关系。作为一个强大的知识引擎,该超图为集成输入理解、证据检索、过滤和诊断生成的协作多智能体推理框架提供可追溯的证据。这使得 PathPocket 能够无缝解决各种临床任务,从纯文本查询到涉及感兴趣区域 (ROI) 和十亿像素全切片图像 (WSI) 的复杂多模态诊断。我们在超过 200,000 个实际案例的多维基准上严格评估该系统,其性能显着优于现有的最先进技术。至关重要的是,广泛的用户研究表明 PathPocket 极大地提高了病理学家的诊断准确性和信心。通过直接将病理学解释建立在可验证的文献中,PathPocket 为基于证据的计算病理学的未来提供了实用且可扩展的解决方案。

经证据接地推理的多模态智能体病理学副驾驶:论文配图
图 9:SMU-281 上证据检索的消融。将 PathPocket 与 Graph-RAG、Naive-RAG 和 Qwen3.7 Plus 骨干网在整体和三个器官层(乳房和呼吸和纵膈;妇科和 GU 和骨和软组织和 H&N;GI 和 HPB 和甲状腺和血红素和 CNS 和 Endo 和 CV 和其他;n=281n=281)进行比较的准确度热图。 Naive-RAG 直接从问题中检索相似的文本块作为证据。 Graph-RAG 从超图检索路径中删除了多实体关系证据。黑色轮廓标记了每列中的最佳方法。