测量 Transformer 深度的最佳传输

Transformer 从一层到另一层承载每个词元的状态，并且承载在一起的整个词汇表形成随深度移动的云。我们询问训练有素的网络是否以最佳传输方式移动此云：以最便宜的成本，并沿着将每个词元与其最佳目的地配对的地图。我们在 Pythia-160m 和 Pythia-410m 上进行测量，在连续层云之间进行精确分配，测量采样层，对已知最佳耦合进行校准，并将成本分解为云的共同移动和特定于词元的移动。在最后一层，两个模型都将其词元移动到最佳传输映射发送它们的位置，Pythia-410m 的最佳成本为 Pythia-410m，Pythia-160m 的成本略高于该成本。在第一层，他们没有。在这之间，单层可以仅在十次转换中的两次进行成本判断，而多层块则以接近最佳成本的方式移动云。最后一层的一致性在初始化时要弱得多（0.64 对 0.86），并且随着训练而增长。