论文
关于门控的重要性：状态空间模型中的记忆与情境学习
On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
摘要
状态空间模型 (SSM) 已成为 Transformer 的一个引人注目的替代方案，支持具有恒定内存和线性计算的序列建模。尽管 SSM 表现出合理的性能和良好的计算特性，但在需要上下文学习和精确检索的任务上，它们仍然落后于 Transformer，从而减缓了它们在大规模语言建模中的采用。在这项工作中，我们证明了 SSM 在这些领域的成功和失败都可以通过研究门控机制的作用来解释，门控机制是现代循环网络中的普遍组成部分。具体来说，我们通过理论和实验表明，这种门控机制导致 SSM 首先学习权重“记忆”解决方案，同时延迟甚至阻止收敛到正确的上下文学习解决方案。重要的是，即使在架构或其内存容量没有基本限制的情况下，也会发生这种情况。另一方面，我们发现门控通常有利于提高对长序列长度的泛化。我们的结果阐明了门控机制在塑造 SSM 的训练动态和泛化方面的关键作用，并为理解和改进线性时间模型提供了基础。