论文

OverdoseMoE:阿片类药物过量风险预测的多专家框架

OverdoseMoE: A Multi-Expert Framework for Opioid Overdose Risk Prediction

模型训练监督微调与指令调优

摘要

阿片类药物过量仍然是一个重大的临床和公共卫生负担,凸显了需要可扩展的方法来识别高风险患者。在这里,我们根据患者之前一年的纵向 ICD 病史调查了对 180 天阿片类药物过量风险预测的诊断特异性适应性。我们通过对纵向诊断序列进行持续预训练,然后针对特定任务进行微调,开发了 OODMAMBA 和 OODQWEN。在更强大的基于 Qwen 的预测器的基础上,我们进一步提出了 OVERDOSEMOE,这是一个多专家框架,它使用互补的专家加权策略集成了不同规模的模型。与通用语言模型基线相比,特定于诊断的适应持续提高了预测性能,OODQWEN 的 AUPRC 为 24.47,AUROC 为 68.56。 OVERDOSEMOE 进一步提高了辨别力和精确度,实现了 25.17 的 AUPRC 和 69.49 的 AUROC,同时优于最强的单模型基线。在预测风险排名前 5% 的患者中,OVERDOSEMOE 识别出显着丰富的用药过量风险,实现了 25.38% 的 PPV,同时保留了有意义的回忆。对独立 MIMIC-IV 队列的评估进一步证明了跨队列的鲁棒性,互补的加权策略在不同的绩效指标上显示出优势。这些发现表明,特定于诊断的语言模型适应与多专家集成相结合可以改善阿片类药物过量风险分层,并支持对异构电子健康记录人群进行更稳健的预测。