NeoRed：用于新生儿呼吸疾病诊断的知识—逻辑对齐多模态大语言模型

新生儿呼吸系统疾病是新生儿发病和死亡的主要原因，给临床实践带来了巨大挑战。尽管最近取得了进展，现有的多模态大语言模型（MLLM）在新生儿诊断中面临两个关键限制：（1）主要由成人训练数据引起的领域差距； (2)多维临床背景整合不足，无法准确诊断。为了应对这些挑战，我们收集了两个真实世界的临床数据集（NeoCXR 和 NeoCXR-EV），并据我们所知提出 NeoRed，这是第一个针对新生儿呼吸系统疾病量身定制的 MLLM，填补了新生儿诊断报告生成的空白。为了增强异质临床背景和胸部 X 光的联合诊断，我们设计了一种新颖的知识逻辑对齐（KLA）框架，该框架从三个角度限制模型行为：1）知识先验注入（KPI）将新生儿学家启发的诊断先验纳入多模态表示中，指导跨模态的疾病特异性关注； 2）诊断逻辑约束（DLC）将生成的报告的语义与多模态诊断逻辑保持一致； 3）视觉语义对齐（VSA）建立视觉特征和成像结论之间的语义对应关系。大量实验表明，NeoRed 能够生成准确的新生儿诊断报告，在 NeoCXR 上实现了 53.29% 的 ROUGE-L 和 65.19% 的临床疗效 F1 评分，优于现有的 MLLM。 NeoRed 还在成人基准（MIMIC-CXR 和 IU-Xray）上保留了具有竞争力的报告生成性能。数据集将根据申请提供。