Lngram：潜在空间中的 N-gram 条件记忆

序列建模需要组合推理和局部静态知识检索，而标准 Transformer 通过密集计算来处理这两者。 Engram 部分地将检索与主干分离，但其基于标记的密钥仍然与文本标记化和哈希压缩相关。我们提出了 Lngram，一种潜在空间条件记忆模块，它直接从隐藏状态学习离散符号并对这些符号执行 N 元语法查找。这种设计消除了对分词器 ID 的依赖，并自然地扩展到非文本模式。在我们评估的设置中，Lngram 优于 Transformer 和 Engram 基线，持续减少长上下文语言建模中的困惑，并在事后添加到预训练模型时有效地注入领域知识。与骨干网络的联合训练进一步超越了完整的 微调，而视觉语言和视觉语言动作任务的实验显示了总体收益。 LogitLens 和 CKA 的分析表明，Lngram 能够更早地出现预测相关信息，从而在有限的推理和内存开销下增加有效深度。代码可在 https://github.com/zyaaa-ux/Lngram 获取。