MuonSSM：用于序列建模的正交化状态空间模型

状态空间模型（SSM）已成为长序列建模注意力的有效线性时间替代方案。然而，由于条件较差的一阶更新和不平衡的更新几何结构，现有的 SSM 在扩展范围内经常会出现不稳定和内存退化的问题。我们引入了 MuonSSM，这是一个通用框架，它通过显式调节内存更新的几何形状而不是循环转换矩阵来稳定 SSM 训练。 MuonSSM 通过基于动量的路径和低秩输入注入的轻量级牛顿舒尔茨变换增强了 SSM，产生有界和频谱条件更新，同时保留并行扫描复杂性。理论表明，MuonSSM 改善了梯度传播，减轻了频谱放大，并丰富了长范围内的记忆表示。跨语言、视觉和时间序列基准的广泛实验表明，当集成到不同的 SSM 主干中时，准确性、鲁棒性和长上下文性能得到持续提升。这些结果将更新的几何条件确定为稳定、可扩展的序列建模的原则途径。