流形约束超连接的 Birkhoff 几何：两个通道、顶点粘度和作为回缩的 Sinkhorn

超连接将 Transformer 的剩余流扩展为 $n$ 并行流。他们的流形约束版本 (mHC) 将每一层的流与双随机矩阵混合，该矩阵通过指数 logits 的 Sinkhorn 归一化来计算。我们在 Birkhoff 多面体上给出了这种设计的几何理论。首先，双随机混合器将流分成一个平均通道（mHC 正是一个残差网络）和一个差分通道（每层通过其第二个奇异值 $σ_2 \le 1 - n \min_{ij} H_{ij}$ 进行收缩）。因此，额外的宽度是一个渐变的记忆，其水平线为 $1/(1-σ_2)$ 层，并且在非负混合器中，只有排列不会崩溃。其次，Sinkhorn-logit 图是一个全局图，它的 logit 梯度正是 Fisher-Rao 梯度。因此，logit 梯度流遵循平方 Fisher-Rao 度量，并且直通式更新恰好是熵镜像下降。第三，在 logit 梯度流下，每个条目的对数以最多 $4n^3\|\nabla f\|_\infty \varepsilon$ 的速率移动，其中 $\varepsilon$ 是到最近排列的距离。因此，梯度流仅以 $1/t$ 速率接近和离开顶点，但镜像下降以指数速率移动。第四，Sinkhorn 的局部收敛因子是 $σ_2^2$，因此固定的迭代预算限制了范围。实验证实了预测的速率。