NGM：面向LLM的即插即用免训练记忆模块

近期研究提出了条件记忆模块，将知识存储与神经计算解耦，实现更直接的知识访问。与依赖动态计算路径的MoE相比，显式查找提供了更高效的知识检索机制。然而，这些方法仍依赖学习得到的记忆嵌入，需要额外训练并限制灵活性。为此，我们提出N-gram Memory（NGM），一个免训练、即插即用的模块，由Causal N-Gram Encoder和Cosine-Gated Memory Injector组成。Causal N-Gram Encoder直接对骨干模型的预训练词元嵌入取平均来构建N-gram表示，从而免去从头训练独立N-gram嵌入的需要。该设计既不需要额外记忆表，也不需要检索流水线。Cosine-Gated Memory Injector随后用带ReLU的非参数余弦门控，将检索到的嵌入调制进上下文表示。我们在0.6B至14B的Qwen3系列上、跨八个基准评估NGM。NGM将平均性能提升0.5到1.2分，在代码生成与知识密集型任务上增益尤为明显（例如Qwen3-14B在LiveCodeBench上+3.0、GPQA上+3.03）。此外，NGM也提升了多模态基准上的性能（例如Qwen3-VL-2B在MMStar上+1.53）。