从医疗实体树中学习：MLLM 以实体为中心的医疗数据工程框架

多模态 大语言模型 (MLLM) 在医疗应用中显示出变革潜力，但其性能受到依赖于模态或部门粗粒度分区的传统数据管理策略的阻碍。这种分散的方法无法捕捉临床医学知识的层次结构和相互关联的性质，限制了模型执行细粒度识别和复杂推理的能力。在本文中，我们提出了一种新颖的以实体为中心的医疗数据工程框架。我们自动从权威医学文献中提取实体来构建医学实体树（MET），这是一种分层结构，可以系统地将疾病、解剖结构、模式和症状编码到统一的知识库中。在 MET 的基础上，我们提出了一种先进的数据引擎，其中包括：(1) 节点引导检索，将原始数据锚定到特定的医学概念；(2) 两级混合过滤和对齐管道，确保精确的视觉语义对应；(3) 知识感知数据合成，利用结构约束生成丰富的标题和有针对性的推理 VQA 对。对六个医疗基准的广泛评估表明，我们的方法显着增强了通用 MLLM 的医疗能力，提高了它们处理复杂临床查询的能力，并在不同的医疗环境中实现最先进的性能。