论文
流学习表格基础模型的有界上下文管理
Bounded Context Management for Tabular Foundation Models on Stream Learning
摘要
表格流学习需要对分布变化下顺序到达的示例进行预测。虽然标准方法通过更新模型状态进行调整,但表格基础模型(TFM)以上下文中的方式根据标记上下文进行预测,使其成为流学习的自然替代方案。这将挑战从如何更新模型转移到如何管理上下文。我们提出了一个未来的信息视图,它产生了上下文管理的三个实际要求:保留最近的示例,保留不确定的示例,并删除冗余的示例。我们将这些要求实例化为 CURE(通过不确定性感知准入和冗余感知驱逐进行上下文管理),这是一种具有熵门准入和冗余感知驱逐的上下文管理策略。在七个流中,CURE 比经典流学习器的相对改进高达 27.0%,在多个 TFM 主干中保持稳健,并在其他策略变体中排名第一。代码和数据集可在 https://github.com/morcellinus/CURE-ICML-FMSD 获取。