长序列建模的分数状态空间转换

状态空间模型 (SSM) 将序列历史压缩为有界循环状态，使生成的内存法则成为长上下文性能的核心架构选择。大多数现代 SSM 依赖于基于 ODE 的动力学，这会导致指数遗忘，从而限制了它们在广泛的时间范围内保留信息的能力。我们引入了 FRAC，这是一种源自分数动力学的选择性 SSM 架构，它用幂律长记忆取代了这种指数衰减。为了使分数动力学变得实用，FRAC 使用有限状态、对数空间指数模式和来近似重尾目标内核。这种结构将部分内存转变为具有并行训练和预填充的高效循环模块，同时保留有界状态自回归解码。包括 1.3B 参数语言建模在内的大量实验表明，FRAC 在最先进的 SSM 基线上持续提高了长上下文性能，同时在短上下文上保持竞争力。这些结果表明分数动力学为长上下文 SSM 提供了实用且有效的先验。