量化 RAG 系统中的先前主导地位

检索增强生成（RAG）将 大语言模型 建立在外部知识的基础上，但当前的评估依赖于离散启发法，而这种启发法存在“认知盲目性”——无法区分真正的上下文信息提取和参数记忆回忆。为了解决这个问题，我们引入了标准化上下文利用率（NCU）指标，利用零样本、预言机和对抗条件下的连续词元对数概率来严格量化上下文信息增益。评估从 1.5B 到 72B 参数的架构以及专有的商业 API 表明，对于严格的事实提取（没有思想链推理），传统的缩放法则表现出极端的收益递减：高效的小语言模型 (SLM) 匹配或优于高容量架构。此外，我们证明“先验优势”与模型规模和专有对齐相关。所评估的商业 API 不仅在近一半的对抗性冲突中推翻了明确的外部证据，而且当其参数先验相矛盾时，还经常遭受系统性信心崩溃（负转移）。我们的研究结果强调了 SLM 在严格的提取工作流程中的结构认知优势和卓越的上下文依从性。