论文
现有预条件器能改进生物医学表格基础模型学习吗:TabPFN 优化的实证研究
Do Existing Preconditioners Improve Biomedical Tabular Foundation Learning? An Empirical Study on TabPFN Optimization
摘要
表格基础模型近来在结构化生物医学数据分析中展现出强大潜力。其中,TabPFN 已成为低数据量表格分类任务的有效方法。然而,优化与预条件化策略对生物医学微调的影响在很大程度上仍属空白。本文对五种基于 AdamW 的预条件化策略进行了系统的实证研究,在涵盖阿尔茨海默病、乳腺癌、精神分裂症、显著记忆障碍(SMC)、KEEL 生物医学数据集与 UCI 生物医学基准的 59 个生物医学数据集上微调 TabPFN v2.5。评估考量预测性能、计算效率与统计显著性分析。实验结果表明,原始 AdamW 优化器始终取得最佳的综合表现与统计排名,而现有的曲率感知预条件器未能在多样的生物医学学习场景中提供可靠改进。这些发现提示,通用的预条件化方法可能无法充分刻画生物医学表格学习的优化特性,也为专门面向医疗场景表格基础模型开发生物医学感知的预条件器提供了动机。