论文
从存储到访问:通过显式启动和隐式推理可验证地激活 LLM 中的参数知识
From Storage to Access: Verifiable Activation of Parametric Knowledge in LLMs via Explicit Priming and Implicit Reasoning
摘要
尽管大语言模型(LLM)在其参数中编码了丰富的事实知识,但可靠地回忆和验证这些知识仍然是事实问答的关键瓶颈。现有的端到端方法将知识获取与推理纠缠在一起,使得很难确定正确答案是来自参数知识还是输入上下文。为了应对这一挑战,我们提出了 VAKE(参数知识的可验证激活),这是一种两阶段强化学习框架,通过显式启动将潜在参数知识外化,并将获得的启发能力转移到隐式推理。给定查询和检索到的子图不足,启动策略显式插入桥接三元组作为可验证的证据,并通过由增强子图上的单独冻结模型生成的答案所获得的奖励来提供监督。基于启动过程中学到的策略,推理阶段训练模型根据原始输入进行回答,测试通过显式知识启发获得的能力是否转移到隐式推理。从 3B 到 14B 的七个基准和模型的实验表明,VAKE 始终优于标准基线,包括直接从 HotpotQA 转移到 OOD 数据集时。基于 LLM 的评估进一步表明,超过 80% 的插入三元组提供了无法从检索到的上下文中推导出来的事实桥接知识,而超过一半的插入三元组则引出了无法通过直接提示获得的知识。这些结果表明,VAKE 激活潜在的参数知识,而不是复制输入上下文或记忆数据集特定的关联。