Co-LMLM：连续查询有限内存语言模型

有限记忆语言模型 (LMLM) 在预训练期间将事实知识外化到知识库 (KB)，而不是将其记忆在权重中。在生成过程中，模型根据需要从知识库中获取知识。最近推出的这一范例提供了多种优势，包括超越传统 LLM 的知识控制能力。我们提出连续查询 LMLM (CO-LMLM)，其中知识库将连续键与文本知识值配对，这与之前对关系知识库和查询的依赖有很大不同。 CO-LMLM 以最低的成本生成灵活的矢量查询，同时仍然将人类可读和可归因的检索知识集成到其生成中。我们将此设计与注释管道配对，该注释管道可以在任意文本中标记自由形式的事实跨度，从而消除了先前工作对维基百科的限制。在 Wikipedia 和 FineWeb-Edu 上的预训练以及多个模型尺度上，CO-LMLM 在困惑度和事实精度方面都优于先前的 LMLM 和普通 LLM。在 360M 规模下，这包括比在 40 倍以上数据上预训练的模型更低的困惑度，以及与 gpt-4o-mini 一致且高于 Claude Sonnet 4.5 的 SimpleQA 验证性能。