mHC-SSM：具有流专用适配器的状态空间语言模型的流形约束超连接
mHC-SSM: Manifold-Constrained Hyper-Connections for State Space Language Models with Stream-Specialized Adapters
摘要
流形约束超连接 (mHC) 通过 Sinkhorn-Knopp 投影将残余流混合矩阵约束为双随机矩阵流形，引入了多流残余混合的稳定性驱动变体。在他的工作中，我们研究了 mHC 式约束多流残差拓扑是否有效地转移到状态空间模型 (SSM) 语言建模。我们围绕 SSM 块实现静态 mHC 机制，方法是将残余流扩展为多个并行流，通过单纯形约束预混合将流聚合到单个 SSM 输入中，通过单纯形约束后混合将 SSM 输出分散回流，并在每一层应用 Sinkhorn 投影残余流混合。我们进一步引入了流专用适配器，通过每个流缩放的共享瓶颈添加轻量级流特定容量，在流聚合之前和分散之前的 SSM 输出之后应用。我们使用相同的训练设置在 WikiText-2 上评估基线单流 SSM、静态 mHC SSM 和带适配器的 mHC SSM，并报告基于检查点的验证损失、困惑度、吞吐量和峰值 GPU 内存。根据报告的公平检查点评估，静态 mHC 将验证损失从 6.3507 提高到 6.2448，并将困惑度从 572.91 降低到 515.35，而带有适配器的 mHC 将验证损失进一步提高到 6.1353，将困惑度降低到 461.88。这些收益伴随着吞吐量从每秒 1025.52 个词元适度减少到 964.81 个和 938.90 个词元，并将峰值内存从 2365 MB 增加到 2568 MB 和 3092 MB。结果表明，受 mHC 启发的约束多流残差混合可以在 SSM 语言模型中产生可测量的质量改进，并且流专用适配器容量可以通过可预测的效率权衡进一步增强性能。