线性递归的最佳衰减谱

线性循环模型提供线性时间序列处理，但经常受到不理想的远程记忆的影响。我们将其追溯到衰减频谱：对于 $N$ 通道，随机初始化将最小频谱间隙压缩为 $O(N^{-2})$，产生次指数误差 $\exp(-Ω(N/\log N))$；线性间距避免了崩溃，但退化为 $\exp(-O(N/\sqrt{T}))$，在长上下文中实际上是代数的。我们引入了位置自适应频谱锥化 (PoST)，这是一种与架构无关的框架，结合了两种机制：(1) 频谱重新参数化，它在结构上强制执行几何间隔的对数衰减率，经证明在 $O(\exp(-cN/\log T))$ 速率下是极小极大最优； (2) 位置自适应缩放，这是一种可证明的独特机制，通过将频谱拉伸到实际依赖范围，将速率锐化到 $O(\exp(-cN/\log t))$，消除了静态频谱的尺度不匹配（其中 $N$ 个通道中只有 $N\log t/\log T$ 在位置 $t$ 有效）。这种缩放本身会引起分数不变性：脉冲响应变得无标度，通道在相对和绝对时间坐标之间进行插值。 PoST 集成到任何对角线性递归中，无需任何开销。我们通过 Mamba-2、RWKV-7、Gated DeltaNet、Gated Linear Attention 和 RetNet 实例化它。 180M-440M 规模的 预训练 显示出一致的零样本语言建模改进、Mamba-2（MQAR 和 NIAH）的显着长上下文检索增益，以及跨其他架构的竞争或改进的性能。代码：https://github.com/SiLifen/PoST。