Mela：基于转换假设的测试时记忆巩固

记忆巩固是将短暂的经历转化为稳定的结构化表征的过程，是人脑的基本组织原则，但作为现代序列模型的设计原则，它在很大程度上仍未得到探索。在这项工作中，我们利用已建立的记忆巩固和跨频率耦合的神经科学理论提出了分层记忆模块（HMM），这是一种神经记忆架构，由两个功能不同的子模块组成，以不同的更新频率运行。受变换假设的启发，低频子模块生成捕获抽象、要点级知识的高级表示，而高频子模块生成保留更丰富的情景细节的细粒度表示。最终的记忆输出被动态地重建为两种表示的上下文相关的组合，类似于人类记忆检索的重建性质。我们将 HMM 集成到基于 Transformer 的语言解码器中，形成 Mela，这是一系列记忆增强语言模型，可在测试时执行在线记忆整合。为了进一步利用 HMM 生成的多粒度内存表示，我们引入了 MemStack，这种方法可以在解码器的早期层中分配不同级别的内存特征，而无需引入额外的标记。语言建模实验表明，Mela 在所有模型大小上都优于 Transformer 基线。此外，由于预训练的上下文长度固定为 4K，Mela 在显着更长的上下文中保持了性能，而 Transformer 基线在超出其训练长度后迅速下降。广泛的消融研究验证了每个组件的贡献，并为实际配置提供指导。