NOMADD：适应数据漂移的模型数值优化

当特征分布随时间变化或特征与结果变量之间的关系随时间变化（分别称为数据漂移和概念漂移）时，表格模型性能会下降。这些问题很难实时缓解，因为标记数据可能无法立即可用，或者重新训练模型可能不切实际。虽然存在减少漂移的工具，但它们通常是针对神经网络架构定制的，并调整模型的训练方式。在本文中，我们提供了一种替代的事后方法来减少概念漂移，该方法适用于从树到神经网络再到表格基础模型的各种模型。当模型精度高、推理时间有限或模型大小等约束要求用户针对其特定用例在不同模型之间进行选择时，此新工具特别有用。我们的算法在每个标记的训练周期上分别拟合基本模型，测量其参数如何相对于所有这些周期内汇集的单个锚定模型演变，使用低秩分解压缩这些变化，并使用阻尼正则化预测向前推断每个潜在因子。在 18 个数据集的 Drift-Resilient TabPFN 基准测试中，根据该基准测试自己的协议和指标进行评估，外推法改进了它所应用的每个基础系列，并通过几秒钟的训练实现了与最先进的 Drift-Resilient TabPFN 相媲美的性能。相比之下，抗漂移 TabPFN 需要在大约 1,300 个 GPU 小时内对数百万个合成数据集使用 预训练，并且推理速度要慢几个数量级（取决于模型）。在讨论中，我们探讨了将该工具扩展到其他模式的前景和挑战。