TAFFY：利用上下文多样性的任务自适应表格基础模型

表格基础模型的最新进展表明，综合任务上的训练可以显着提高上下文学习能力，整体性能很大程度上取决于模型在推理过程中从可用上下文推断特定任务预测关系的能力。在本文中，我们介绍了 TAFFY，这是一种表格基础模型，具有上下文多样性先验和任务条件循环Transformer，可以增强这种能力。具体来说，为了构建每个综合预训练环境，来自多个相关环境的上下文多样性先验样本是通过受控干预和共享因果过程的分布变化而得出的。这种上下文多样性鼓励模型学习更全面和针对特定任务的表示。此外，任务条件循环Transformer迭代并有选择地应用一组共享的Transformer块来细化上下文表示，并使用任务条件门调制最终的隐藏状态更新。这使得任务自适应迭代细化成为可能。这些组件共同鼓励模型在预训练期间从上下文对比中识别预测关系，并动态调整每个任务的上下文集成。在六个分类和五个回归基准数据集中，TAFFY 获得最低的平均排名。