使用医疗token进行覆盖感知推理以进行诊断预测

大语言模型（LLM）由于能够整合纵向临床证据并以自然语言进行推理，因此为下次就诊诊断预测提供了广阔的前景。然而，LLM 推理的强化学习通常会根据最终答案的正确性来奖励每个轨迹。在下次访问诊断预测中，多个诊断可以同时有效，但每个轨迹独立奖励一个诊断并不能区分重复命中和不同诊断的覆盖范围。因此，该策略可以集中于一些正确的诊断，而忽略其他诊断。同时，LLM 标记器可以将 ICD 代码拆分为多个临床意义有限的通用标记，需要多个解码步骤来预测每个诊断，并阻碍对大量疾病词汇的推理。为了应对这两个挑战，我们提出了 CARing，这是一个用组合语义 ID (SID) 表示诊断并优化多标签覆盖的推理轨迹的框架。具体来说，我们首先编码本体丰富的疾病 通过残差量化将语义转换为紧凑的 SID，并通过多任务对齐和推理丰富的训练将生成的 SID token置于自然语言和纵向 EHR 上下文中，以解锁可转移的 LLM 推理。 CARing 通过强化学习和多重正向监督的覆盖奖励进一步改进了无序多标签预测。在推理时，该模型支持高效的直接约束解码和具有秩融合的多链推理。在 MIMIC-III 和 MIMIC-IV 上，CARing 超过了加权 F1 中所有 EHR 训练的基线，并在每个报告的截止点上获得了最高的 top-k 召回率，包括推理模式下的 R@30 为 46.04% 和 46.52%。我们的代码和日志可在 https://github.com/zmlxzyh/CARing-Codes-Logs. 获取