论文
MILM：大语言模型，用于具有信息采样的多模态不规则时间序列
MILM: Large Language Models for Multimodal Irregular Time Series with Informative Sampling
摘要
多模态不规则时间序列 (MITS) 由来自异构数字和文本通道的异步且不规则采样的观测值组成。例如，在医疗保健领域，患者的电子健康记录 (EHR) 包括不规则的实验室测量结果和临床记录。观察的不规则时间和通道模式与数值和文本内容一起携带预测信号。鉴于 LLM 具有跨文本和数字领域的广泛预训练知识，它们是处理此类异构数据的自然候选者。我们引入 MILM（多模态不规则时间序列语言模型），它将 MITS 表示为可扩展标记语言（XML）格式的时间排序三元组，并通过 MITS 分类的两阶段策略微调 LLM。第一阶段在值编辑的 MITS 上进行训练，以仅根据采样模式进行预测，第二阶段在完整的 MITS 上进行训练，以联合对采样模式和观测值进行建模。我们的两阶段模型 (MILM-2S) 及其单阶段模型 (MILM-Direct) 在多个 EHR 数据集上实现了最佳和第二好的平均性能。进一步的值编辑评估证实采样模式携带预测信号，并且 MILM-2S 学会利用它们。在我们引入的待评估值中，某些值在预测时不可用，与标准评估相比，MILM-2S 的性能优于 MILM-Direct。对于 MILM-2S，保留待定值观测值的时间和通道作为附加采样信息可进一步改善院内死亡率预测。