Transformer 能兼顾所有任务吗？跨任务归纳偏置的兼容性

Transformer 非常通用，其设计在各种应用中基本一致。但它们对于任何给定的任务或数据集来说都是最佳的吗？答案可能是推动人工智能超越仅仅扩展当前设计的关键。 *方法。*我们提出了一种针对给定数据集优化 Transformer 架构的方法，我们将其用作研究最佳特定任务归纳偏差的工具。该方法用根据保留数据学习的函数替换了最重要的非线性（GeLU，softmax）。然后，我们在其他数据集上训练生成的架构，作为评估任务对之间兼容性的一种方法。发现。在算法玩具任务中，我们发现了新的架构，在学习速度、分布内和分布外泛化以及种子稳定性方面都有显着提高。然而，事实证明，新设计非常针对特定任务，并表明这些任务需要的归纳偏差与标准 Transformer 的归纳偏差非常不同。在代码和语言建模数据集上，我们还发现具有一致但较小改进的架构。这些设计可以更好地跨数据集和领域（英语和计算机代码）传输。影响。我们的结果表明，标准 Transformer 很少是架构空间中的局部最优。简单的替代方案可以表现得更好，但会牺牲通用性。这表明可能存在改进架构的空间，以更好地同时支持多种功能，例如流畅性和强大的推理能力。