论文

Naju:具备独立保持与写入的原生离散状态空间模型

Naju: A Native Discrete State-Space Model with Independent Retention and Writing for Long-Sequence Memory

摘要

长序列记忆追踪对循环状态提出两个相反的要求:长期近无损地保持已存绑定,与主动覆写过时绑定。在我们的诊断套件中,最强的 efficient 基线往往只能做好一侧。连续时间参数化的状态空间模型(SSM,如Mamba)经连续时间系统的零阶保持离散化获得离散递归;我们论证这一迂回对记忆追踪不必要,直接参数化离散转移。Naju(原生自适应连接单元)把循环更新x_n = f_n⊙x_{n-1} + i_n⊙(B_n u_n)分解为显式离散极点(一个学习的遗忘门f_n)、独立的写入增益i_n、以及依赖输入的写入/读取映射。由于sigmoid极点满足0<f_n<1,每个冻结的局部坐标按构造Schur稳定,完整时变递归在一致有界假设下满足衰减记忆/BIBO界,无需稳定性正则项。我们形式化耦合设计的关键结构局限:任何非扩张的互补单门递归经|r|+w≤1把有效保持r与写入增益w绑在一起——近完全保持必然弱写入;把f_n与i_n解耦即移除该约束。实证上,Naju是受评模型中唯一在4倍训练长度下仍在保持与覆写两侧都强的模型。在诊断套件之外,我们在WikiText-103语言建模、Long Range Arena与多查询联想召回上评估Naju:跨这些设定,Naju一致结合强长程记忆与有竞争力或更优的表现——在主要比较中胜过Mamba基线、与Transformer保持竞争力,同时保持线性时间线性内存扩展。

Naju:具备独立保持与写入的原生离散状态空间模型:论文配图
图 1:长度为 2048 的保留和覆盖。在共享训练协议和规定的模型配置下,保留(T2,分散键值召回;xx 轴)和覆盖(T4,硬状态跟踪;yy 轴)的外推精度。在测试的基线中,xLSTM 提供较强的保留但较弱的覆盖,而 GLA 提供较强的覆盖但较弱的长距离保留。 Mamba 和 Mamba-2 不会同时达到任一极端。 Naju 通过独立控制其遗忘门和输入门来占据右上角区域。