ElTab以随机早退监督训练可弹性执行的循环表格Transformer

摘要

TabPFN 等表格 transformer 模型可实现强大的预测性能，但会产生大量推理成本，使得它们难以在资源受限的环境中部署。虽然循环 Transformer通过权重共享减少了参数数量，但如果提前停止，它们可能会失去显著的预测能力。为了应对这一挑战，我们引入了弹性循环表格 Transformer (ElTab)，这是一个经过训练的单一模型，通过在随机采样的提前退出位置施加监督，可以在不同的计算预算上运行。在 30 个 OpenML 分类数据集中，单个 ElTab 模型可达到六个分别针对特定深度训练的循环模型的表现，同时将训练成本降低一半以上，并达到 12 层 TabPFN 式基线的表现，推理 FLOP 减少 25%。这些结果表明，弹性深度训练产生了一个适应手头部署预算的单一模型，在预测性能、存储和计算成本之间提供了有利的权衡。

ElTab以随机早退监督训练可弹性执行的循环表格Transformer：论文配图 — 图 1：ElTab 匹配六种预算特定模型，将训练能耗减少一半以上。 (a) 每个推理预算下 30 个 OpenML 数据集上的每个数据集 AUC-ROC。固定深度循环模型是特定于预算的，因为它们的深度是在训练时设置的，在推理预算已知之前。该深度可以随机选择（灰色），也可以由提前知道预算的预言机（橙色）选择作为理想化上限。单个 ElTab 模型（蓝色）在不知道预算的情况下进行训练，在每个预算上都与预言机相匹配。 (b) 在一台 NVIDIA A100 上进行完整训练的估计 GPU 能量。用特定于预算的模型覆盖所有六个预算需要训练六个模型（灰色部分），总共消耗 60.6 kWh。单个 ElTab 型号可满足相同的预算，耗电量为 25.7 kWh。