论文
使用基于LLM探针的主ICD类别预测
Primary ICD Category Prediction using LLM-based Probing
摘要
目的：ICD编码对报销、研究与人群健康监测至关重要——但自动编码系统常难以整合来自临床叙述与结构化电子健康记录（EHR）变量的诊断信号。我们评估冻结医疗大语言模型（LLM）表示能否充当多模态主诊断类别预测的共享嵌入空间。材料与方法：我们构建来自10个最频繁主ICD-10编码、合并为七类别的13,645人次入院MIMIC-IV队列。结构化变量被序列化为临床叙述——并与防泄漏修剪的出院小结组合。使用冻结MedFound-Llama3-8B-finetuned骨干——我们从五个transformer层抽取隐藏态——为仅结构化、仅非结构化与组合输入训练线性探针——对照XGBoost与信息匹配的PLM-ICD基线——并用紧凑瓶颈适配器评估MIMIC-III适配。结果：组合探针在MIMIC-IV上最佳（严格87.69%；医学准确率91.45%）——超越单模态探针与基线。仅结构化探针医学准确率超其标准基线6.19分。诊断信息在更深层 increasingly 线性可分——2M参数适配器仅用5%目标标签即恢复到MIMIC-III的跨数据集迁移。讨论：LLM嵌入可统一结构化与叙述EHR信息用于多模态诊断预测——经小型表示级模块支持临床表示跨模态、跨数据集的高效复用。结论：冻结医疗LLM表示的多模态探针为研究EHR模态与跨数据集适配临床表示提供实用方法。
