EHR基础模型中ICD编码的分层建模

电子健康记录基础模型通常将 ICD 诊断代码视为平面标记，忽略了捕获疾病家族、子类别和细粒度诊断细节的具有临床意义的层次结构。因此，现有的 EHR 表示学习方法没有明确利用编码系统中已经存在的层次结构。在这项工作中，我们研究 ICD-10-CM 层次结构作为临床表征学习的一般归纳偏差。我们研究了两种合并层次结构的互补机制：首先，通过使用与 ICD 层次结构的不同级别相对应的标记来增强 BERT 式转换器中的诊断序列，其次，通过层次结构感知边缘与诊断共现结构相结合，将层次结构注入到基于图的代码表示中。在这些设置中，我们评估显式层次结构是否可以改善下游预测，层次结构的哪些级别最有用，层次结构编码是否可以改善跨数据集的传输，以及层次结构如何重塑嵌入相似性结构。我们在两个大型现实世界临床数据集上进行了实验：MIMIC-IV，用于预训练和域内评估；eICU，用于通过冻结编码器探测评估跨数据集传输。我们的研究结果表明，显式编码 ICD 层次结构比域内和跨数据集设置中的平面代码表示有所改进，同时揭示了最有用的层次结构级别取决于任务和建模方法。更广泛地说，我们专注于层次结构感知的 EHR 表示学习，并表明编码层次结构的好处可以跨建模设置和层次结构级别推广。