VIP-COP：表格基础模型的上下文优化

表格基础模型 (TFM) 已成为结构化数据上下文学习的强大范例，无需特定于任务的训练即可直接预测新的表格任务。然而，它们的有效性受到上下文长度限制的限制，将应用限制在中等规模的数据上，并且当推理时间数据超过预训练大小分布时，性能会下降。我们的工作引入了 VIP-COP，估计训练示例预测的重要性以及 TFM 硬上下文优化的特征。其显式选择机制可抑制噪声并隔离有影响的数据，使模型还可以通过优先考虑高价值的增强样本和特征来从数据增强中受益。 VIP-COP 是 (i) 速度快，通常在优化后几分钟内即可提高性能，基于具有迭代细化、值引导上下文采样和多保真修剪的在线 KernelSHAP 回归； (ii) 预算敏感且随时可用，通过额外的测试时计算进行改进，这与产生固定上下文的启发式方法不同； (iii) 模型感知但完全黑盒，无需访问模型内​​部结构，使其与专有和开源 TFM 兼容； (iv) 可解释的、识别离散的“非常重要的预测因子”（样本和特征），可最大化信噪比，从而使其 (v) 稳健，将高价值数据与噪声隔离。相反，软提示优化需要模型梯度，产生抽象的潜在标记，并且缺乏明确的信号辨别。大量实验表明，VIP-COP 在大规模高维测试平台上始终优于启发式和优化基线，包括数据增强和数据噪声设置，在 TFM 的测试时上下文细化中建立了新的最先进技术。