论文

M$^2$PFN:阿尔茨海默病中可推广多模态情境学习的端到端解缠结对齐

M$^2$PFN: End-to-End Disentangled Alignment for Generalizable Multimodal In-Context Learning in Alzheimer's Disease

模型训练监督微调与指令调优

摘要

虽然人们提出了各种结合成像和表格数据来诊断阿尔茨海默病(AD)的多模态方法,但它们在跨群体的推广方面往往受到限制。上下文学习 (ICL) 在 TabPFN 等基础表格模型中表现出了出色的泛化性能和高度灵活性。为了将 TabPFN 的 ICL 扩展到多模态 AD 分析,主要障碍是 TabPFN 是在合成表格先验上进行元训练的,而这些先验与图像衍生特征的统计结构并不自然匹配。我们提出了 M$^2$PFN,这是一个端到端框架,可将表格基础模型转变为多模态 AD 预测器。 M$^2$PFN (i) 通过 TabPFN 的转换器执行可微分推理,将任务梯度反向传播到 3D-MRI 和表格编码器中; (ii) 通过解开和对比目标,将两种模态排列成一个共享子空间,与 ICL 引擎的先验相匹配; (iii) 通过可学习的门控快捷方式折叠仅冻结表格的预测。由于 ICL 引擎保持冻结状态,因此保留了其上下文内机制以供测试时泛化,而端到端训练将编码器塑造为可以利用的特征。在 ADNI($n=2240$,三级 CN/MCI/AD)上,M$^2$PFN 达到 $65.55\%$ 宏 F1 和 $82.21\%$ 宏 AUC,超过了一组全面的单峰和多峰基线。通过仅将头部替换为 TabPFN 回归器,相同的架构在 $1250$ 的受试者子队列上回归基线 MMSE,以测试 $1.743$ 的 MAE,优于每个多模态基线。在两个没有重新训练的外部队列(OASIS-3 和 SCAN)上,M$^2$PFN 在所有基线上实现了最佳 AUC 和最低 MMSE MAE,甚至在认知工具发生变化时也能转移。