论文
面向不规则临床时间序列问答的高性价比多模态LLM推理框架
A Cost-Effective Multimodal LLM Reasoning Framework for Question Answering over Irregular Clinical Time Series
摘要
不规则临床时间序列（ICTS）问答在众多医疗健康应用中发挥着关键作用。尽管近来的多模态时间序列大语言模型（LLM）在通用时间序列问答上展现出可观前景，它们仍难以建模临床观测的稀疏性、异步性与不规则采样模式。为填补这一空白，我们提出ClinPRISM，一个面向ICTS数据问答的高性价比多模态LLM推理框架。首先，我们设计了不规则性感知的多尺度编码器，以在不同时间尺度上捕捉稀疏的临床证据。然后，我们提出时间证据蒸馏器，跨这些尺度整合表示并将其压缩为少量与LLM兼容的token。此外，我们引入渐进对齐策略，将不规则轨迹逐步对齐到LLM的文本嵌入空间。为便利训练，我们构建了30,000条与多尺度描述配对的临床时间序列，以及覆盖11个任务的41,000条指令微调实例。使用40亿参数的LLM主干，ClinPRISM在留出评估基准上取得最先进性能，同时仅使用16个时间序列token，且平均推理延迟为每题0.15秒。
