GSM：具有共享全局状态的高效语言建模

高效的语言模型不仅必须减少个体访问过去上下文的成本，还要减少跨层重复选择和处理历史信息的开销。我们引入了全局状态模型（GSM），这是一种因果编码器-解码器架构，它在编码阶段集中了远程信息的选择和聚合。通过历史检索的多个阶段，编码器逐渐将远程信息合并到最近位置的表示中，形成具有固定窗口大小的共享状态。每个解码器层使用从前一层更新的查询来访问相同的状态，保留计算深度，同时避免重复构建历史键值 (KV) 表示和远程索引。因此，解码器的每步注意力成本及其 KV 缓存大小都不会随着历史长度的增长而增长。实验表明，GSM 提高了计算效率并减少了缓存开销，同时保持了模型性能和使用远程信息的能力，为高效的语言建模提供了共享状态架构。