论文

GRIP:通过信息受限前提实现有据推理

GRIP: Grounded Reasoning via Information-Restricted Premises

上下文与知识检索增强

摘要

检索增强生成(RAG)中的高容量编码器可能让查询主导潜在状态,使检索到的证据在功能上变得无关紧要。我们将这种失败模式称为查询主导(query dominance)。为解决它,我们提出GRIP(Grounded Reasoning via Information-Restricted Premises),它施加容量不对称:解码器对查询保持全维度访问,而检索证据则经过一个严格的随机瓶颈。这迫使证据通道只编码查询中无法获得的残差信息。在五个推理基准上,GRIP优于强大的迭代基线,将查询-潜在互信息诊断指标削减约30倍(从14.8降至0.47比特),并将幻觉减少73%。残差对齐分析进一步表明,瓶颈输出所占的子空间与查询的对齐程度低于基线表示。

GRIP:通过信息受限前提实现有据推理:论文配图
图1:(A) 标准 RAG 将查询 Q 与证据 E 混合进一个由查询主导的全维度潜在表示。(B) GRIP 让查询 Q 走全维度旁路,并迫使证据通过低维瓶颈,因此潜在表示只编码信息残差。