E$Δ$-MHC-Geo Transformer：具有保证正交性的自适应测地线运算

我们提出了 E$Δ$-MHC-Geo Transformer，这是一种新颖的架构，它结合了流形约束超连接 (mHC)、深度 Delta 学习 (DDL) 和凯莱变换，以获得输入自适应、无条件正交残差连接。与 DDL 不同，DDL 的 Householder 算子仅在 $β\in \{0,2\}$ 处正交，我们的数据相关凯利旋转 $Q(x)=(I+(β/2)A(x))^{-1}(I-(β/2)A(x))$ 保留所有 $β$ 和所有输入的正交性。为了处理否定，即 Cayley 可证明排除的特征值 $-1$ 情况，我们引入了 E$Δ$-MHC-Geo Hybrid，它通过学习的算子选择门 $X'=γ(X)Q(X)X+(1-γ(X))H_2(X)X$ 将 Cayley 旋转与 Householder 反射结合起来。中点崩溃正则化器 $4γ(1-γ)$ 鼓励边界门决策，其中每个选定的组件都是正交的。在参数匹配比较中，每个模型大约有 179 万个参数，3 个种子的平均值+/-标准差，与包括并发 JPmHC 在内的四个基线相比，E$Δ$-MHC-Geo 实现了最佳的长期稳定性，是 JPmHC 的 1.9 倍，是 GPT 的 3.8 倍；最佳近 $π$ 旋转损失，是单平面 JPmHC 的 4.5 倍；范数保存能力强，平均偏差为0.001；诊断反射探针中的 0.96 负余弦对准，层数均减少了 33%。虽然 JPmHC 的更广泛表示在纯旋转方面表现出色，但其有限凯莱残差混合器排除了精确的 $λ=-1$ 运算符，并且没有反射分支，从而激发了我们访问 $O(n)$ 的两个连接组件的混合方法。