一层就够了吗？了解表格基础模型中的推理动力学

基于 Transformer 的表格基础模型 (TFM) 在中小型表格预测基准任务中占据主导地位，但其推理机制在很大程度上仍未被探索。我们在 6 个最先进的表格上下文学习模型中首次提出了分层动力学的大规模机制研究。我们探索预测如何跨深度出现，识别不同的推理阶段，并揭示与语言模型不同的潜在空间动态。我们的研究结果表明多个模型之间存在大量的深度冗余，这表明在推理阶段通过重叠计算进行迭代细化。在这些见解的指导下，我们设计了一个概念验证的循环单层模型，该模型仅使用原始模型参数的 20%，同时实现了相当的性能。代码可在 https://github.com/amirbalef/is_one_layer_enough 获取。