论文
子群移动下表格基础模型的参数有效分布鲁棒自适应
Parameter-Efficient Distributionally Robust Adaptation of Tabular Foundation Models under Subpopulation Shift
摘要
尽管平均准确度很高，但表格基础模型 (TFM) 在子群体转移（群体比例在训练和部署之间发生变化）的情况下，在代表性不足的群体中表现不佳。我们提出了 DR-TFM，一种参数有效的分布式鲁棒自适应框架，不需要真正的组注释。 DR-TFM 通过微调现有的查询扩展网络或添加和训练一个网络，同时保持所有其他参数固定，来调整对标记上下文示例的注意力。我们使用估计组或从训练数据派生的源条件分布来实例化具有两个稳健目标的框架。对于 TabPFN-3，自适应仅更新预训练模型参数的 0.016%。在五个表格基准中，DR-TFM 实现了比预训练 TFM 和没有真实组注释的稳健基线更高的平均最差组准确度，同时保持有竞争力的平均组准确度。 DR-TFM 还提高了 ACS Income 和另外四个 TFM 的平均最差组准确度。