论次二次架构：从应用到原理

Transformer 在现代序列建模中占据主导地位，但它们的二次注意力会产生大量的计算成本。次二次架构提供了一种可扩展的替代方案。然而，目前尚不清楚哪种设计能产生最有效的序列模型。我们比较了三种领先的方法：xLSTM、Mamba-2 和门控 DeltaNet。我们在具有复杂依赖性的任务上评估这些模型：（1）代码模型 预训练，（2）来自 大语言模型 的代码模型的 蒸馏，以及（3）时间序列基础模型的 预训练。在这些设置中，xLSTM 提供了最强的整体性能。为了解释 xLSTM 的优势，我们提出了一个统一的公式并分析了底层架构机制，重点关注状态跟踪和内存动态。我们的结果表明，xLSTM 通过其门控方案实现了更灵活、更稳定的记忆校正。我们在受控合成长度泛化任务上证实了这些发现。总的来说，我们的研究结果表明 xLSTM 在复杂任务上的收益源于强大的状态跟踪和积累。