CRUMB：通过分布匹配上下文批处理进行高效的先验拟合网络推理

先验拟合网络（PFN）是一类很有前途的表格基础模型，它执行上下文学习，其中整个标记训练集作为上下文提供，并且在单个前向传递中生成测试查询的预测。然而，许多 PFN 架构中的二次缩放自注意力机制使得对于非常大的训练数据集的推理变得困难。我们提出了 CRUMB（使用最小化 MMD 批处理的集群检索），这是一个三阶段推理包装器，它 (i) 对测试查询进行聚类，(ii) 通过贪婪地最小化最大平均差异 (MMD) 为每个集群选择一个小的、分布匹配的训练子集，以及 (iii) 在每个缩减上下文批次上运行精确的 PFN 推理。 CRUMB 与架构无关，不需要重新训练。在 51 个数据集 TabArena 基准测试中，通过三种 PFN 架构（TabPFNv2、TabICLv1、TabICLv2）进行评估，我们表明 CRUMB 的性能优于类似的最先进的上下文选择策略。我们还表明 CRUMB 对协变量漂移具有弹性，因为 MMD 最小化步骤自然有助于调整训练上下文分布以匹配当前的测试批次分布。