RING：用于持续大规模知识注入的检索内化生成

检索增强生成 (RAG) 提高了事实性，但增加了服务时的延迟和工程开销。我们提出了 RING（检索内部化生成），这是一种涵盖架构和训练的整体范式，它将大规模外部知识注入到 \textit{Mixture-of-Memory Experts} 中，并通过强化学习学习对此内部存储器的参数搜索，完全删除外部 检索器。训练分三个阶段进行：继续 预训练 通过我们的小说 \textit{Dual Causal Attention} 将新语料库注入知识专家；受监督的 微调 教授“搜索然后回答”模式；具有分层奖励的强化学习优化了参数内存上的路由和搜索策略。与之前将内部存储器与固定或基于规则的 检索器 配对的参数注入方法不同，RING 直接从任务信号中{学习}其检索策略。我们在理论上进一步将 RING 构建为经典 RAG 目标的免搜索近似。为了评估大规模注入真正的“新”知识而不会造成测试时间泄漏，我们进一步构建了 News-2025，这是一个根据新闻构建的基准，严格晚于基本 LLM 的预训练截止日期。 RING 在准确性和效率方面匹配或超过基于搜索的 RAG 和参数注入基线。