LoKiFormer：具有解耦知识记忆的局部感知注意力，可实现高效的 大语言模型 预训练

大语言模型（LLM）在各种应用领域取得了显着的突破。然而，由于两个主要限制，它们的架构在预训练中仍然效率低下：（i）自注意力缺乏对局部性的明确归纳偏差，导致序列内部局部信息的冗余建模； （ii）专家混合（MoE）隐式地将知识存储与计算路径耦合起来，阻碍了对序列外部全局知识的灵活访问。为了克服这些限制，我们提出了 LoKiFormer，一种新颖的 LLM 架构，它通过两个专用模块增强了标准解码器：1）局部融合注意力（LFA），它将卷积融合与注意力结合起来，显式捕获局部模式并允许注意力在信息更丰富的表示上运行； 2）知识内存模块（KMM），它引入了参数化键值内存，将全局知识显式存储在可寻址槽中，将存储与计算解耦并实现直接知识检索。这些模块共同使 LoKiFormer 能够在两个层面上实现更高效、更有效的信息集成。实验结果表明，LoKiFormer 在 预训练 中的收敛速度比基准模型快 1.33 倍，凸显了其相对于现有 LLM 架构的优越性。