论文
go-$m$HC：通过广义正交矩阵直接参数化流形约束超连接
go-$m$HC: Direct Parameterization of Manifold-Constrained Hyper-Connections via Generalized Orthostochastic Matrices
摘要
双随机矩阵可以实现残差流之间的学习混合，但准确有效地参数化双随机矩阵集（Birkhoff 多胞形）仍然是一个开放的挑战。现有的精确方法随流数量 ($d$) 进行阶乘缩放，而克罗内克因式分解方法虽然高效但表达能力有限。我们引入了一种基于广义正随机矩阵理论的新型精确参数化，其尺度为 $\mathcal{O}(d^3)$ 并公开单个超参数 $s$，该超参数在计算有效的边界和完全表达的 Birkhoff 多胞体之间连续插值。基于流形约束超连接 ($m$HC)（一种用于学习动态层连接的框架），我们在 go-$m$HC 中实例化此参数化。我们的方法与克罗内克因子分解方法自然地结合在一起，以相似的 FLOP 成本显着恢复了表达能力。谱分析表明，go-$m$HC 比克罗内克分解基线更完全地填充了 Birkhoff 多胞形。在合成流混合任务中，go-$m$HC 实现了最小的理论损失，同时收敛速度提高了 10\times$。我们在 30M 参数 GPT 风格的语言模型中验证了我们的方法。 go-$m$HC 的表现力、效率和准确性为将 $d$ 扩展为模型容量的新维度提供了实用途径。