通过数据进行表格基础模型的上下文约束迁移学习 蒸馏

表格基础模型 (TFM) 通过上下文学习展示了作为黑盒推理引擎的强大经验性能。然而，它们在迁移学习中的使用受到两个障碍的限制：严格的上下文大小约束以及对源任务和目标任务之间的分布变化的敏感性。因此，直接池化异构源数据可能会导致负迁移。为了应对这些挑战，我们提出通过 ANchoring 和 蒸馏 (TL-ANDI) 进行上下文约束迁移学习，这是一种用于 TFM 的后感知 蒸馏 框架。 TL-ANDI 通过解决预算受限的最优传输问题来构建紧凑的源上下文，该问题的成本共同衡量目标协变量覆盖范围和后验兼容性。然后，所选的锚定样本配备有本地提取的标签，并与使用目标数据的残余校准步骤相结合。