使用 LLM 进行模式自适应表格表示学习，用于可推广的多模态临床推理

表格数据的机器学习仍然受到模式泛化不良的限制，这一挑战源于缺乏对结构化变量的语义理解。这一挑战在临床医学等领域尤为严峻，因为这些领域的电子健康记录 (EHR) 模式差异很大。为了解决这个问题，我们提出了模式自适应表格表示学习，这是一种利用 大语言模型 (LLM) 创建可转移表格嵌入的新颖方法。通过将结构化变量转换为语义自然语言语句并使用预训练的 LLM 对其进行编码，我们的方法可以在不可见的模式中实现零样本对齐，而无需手动特征工程或重新训练。我们将编码器集成到痴呆症诊断的多模式框架中，结合表格和 MRI 数据。 NACC 和 ADNI 数据集上的实验证明了最先进的性能和成功的零样本转移到未见过的模式，在回顾性诊断任务中显着优于临床基线，包括经过委员会认证的神经科医生。这些结果验证了我们的 LLM 驱动方法作为异构现实世界数据的可扩展、强大的解决方案，提供了将基于 LLM 的推理扩展到结构化领域的途径。