重新思考数据流上的表格基础模型

通过上下文学习，表格基础模型 (TFM) 在表格基准上优于已建立的机器学习模型。在此成功的基础上，人们越来越有兴趣将它们应用于数据流，其中数据不断到达并随着时间的推移而演变。在流上，TFM 通过更新其上下文而不是参数来进行调整，因此其准确性和成本取决于它保留的示例以及重建其上下文的频率。因此，我们对数据流上的 TFM 进行了系统研究，涵盖记忆管理、计算成本以及特定于流的挑战，例如概念漂移和延迟标签。我们发现 TFM 实现了最高的预测性能，并且简单地保留最新的示例与现有的记忆管理技术一样有效。它们在漂移后的恢复速度也比流式学习器更快，并且在标签延迟下保持最高的准确性。然而，这种准确性的代价是很高的服务成本，因为每次预测时都会对几乎不变的上下文进行重新编码。这些结果表明架构效率是上下文流学习的前进方向。