论文
Naju:具备独立保持与写入的原生离散状态空间模型
Naju: A Native Discrete State-Space Model with Independent Retention and Writing for Long-Sequence Memory
摘要
长序列记忆追踪对循环状态提出两个相反的要求:长期近无损地保持已存绑定,与主动覆写过时绑定。在我们的诊断套件中,最强的 efficient 基线往往只能做好一侧。连续时间参数化的状态空间模型(SSM,如Mamba)经连续时间系统的零阶保持离散化获得离散递归;我们论证这一迂回对记忆追踪不必要,直接参数化离散转移。Naju(原生自适应连接单元)把循环更新x_n = f_n⊙x_{n-1} + i_n⊙(B_n u_n)分解为显式离散极点(一个学习的遗忘门f_n)、独立的写入增益i_n、以及依赖输入的写入/读取映射。由于sigmoid极点满足0<f_n<1,每个冻结的局部坐标按构造Schur稳定,完整时变递归在一致有界假设下满足衰减记忆/BIBO界,无需稳定性正则项。我们形式化耦合设计的关键结构局限:任何非扩张的互补单门递归经|r|+w≤1把有效保持r与写入增益w绑在一起——近完全保持必然弱写入;把f_n与i_n解耦即移除该约束。实证上,Naju是受评模型中唯一在4倍训练长度下仍在保持与覆写两侧都强的模型。在诊断套件之外,我们在WikiText-103语言建模、Long Range Arena与多查询联想召回上评估Naju:跨这些设定,Naju一致结合强长程记忆与有竞争力或更优的表现——在主要比较中胜过Mamba基线、与Transformer保持竞争力,同时保持线性时间线性内存扩展。
