TACTICL：表格 ICL 模型的任务感知压缩

表格任务基础模型的强大性能是以巨大的推理成本为代价的。将模型提炼为特定于任务的架构可以减少模型大小和计算需求，但也会牺牲上下文适应性。在这里，我们介绍 TACTICL，一种用于表格上下文学习模型的自动化任务感知压缩框架，它联合修剪 Transformer 层，并用在下游任务上训练的轻量级适配器替换它们，从而将上下文与权重学习混合在一起。我们在 47 个基准数据集上研究 TACTICL，结果表明我们可以替换多达 85% 的层，而不会在给定下游任务上大幅降低性能。我们进一步表明，TACTICL 保持了对数据变化的鲁棒性，使其上下文能力完好无损。总体而言，TACTICL 提供了一个强大的框架，通过结合特定任务的适应和结构化压缩来利用表格基础模型的深度冗余。我们在以下位置提供代码：https://github.com/Hebog/tfm_compression