ReLMem：学习循环记忆以进行纵向 EHR 建模

纵向电子健康记录 (EHR) 建模需要将新的就诊与不断扩大的患者病史相结合。然而，临床信息的不断积累导致大语言模型 (LLM) 在处理和保留完整患者病史时增加了计算和内存成本。一种实用的替代方案是按就诊方式进行循环压缩，它将每次就诊合并到一个紧凑的、不断更新的患者记忆中。然而，在固定的内存预算下，连续的更新必须集成新信息，而不会逐渐丢失后续任务所需的关键历史证据。为了应对这一挑战，我们引入了循环纵向记忆（ReLMem），这是一个学习维持固定容量患者记忆的框架，以便通过冻结的 LLM 进行有效的下游预测。 ReLMem 为该 LLM 配备了轻量级压缩适配器，可以根据其先前状态和每次传入访问定期更新内存，而无需重新读取早期记录。具体来说，我们开发了一种多粒度优化策略，以在整个循环更新过程中保留与任务相关的信息，并支持最终内存的下游预测。中间监督将压缩记忆的注意力输出和相同查询下的完整历史记录对齐，而预测监督则最大限度地减少交叉熵，并以最终记忆为条件的真实答案。在基于 EHR 的药物预测中，ReLMem 接近全历史基线的 F1 分数，同时将平均保留历史存储减少 97.1%。在相同的内存预算下，它比最强的压缩内存基准分别提高了宏观和微观 F1 4.66 和 4.75 个百分点。这些结果凸显了学习患者循环记忆对于有效纵向 EHR 建模的价值。