论文
GRIP:通过信息受限前提实现有据推理
GRIP: Grounded Reasoning via Information-Restricted Premises
摘要
检索增强生成(RAG)中的高容量编码器可能让查询主导潜在状态,使检索到的证据在功能上变得无关紧要。我们将这种失败模式称为查询主导(query dominance)。为解决它,我们提出GRIP(Grounded Reasoning via Information-Restricted Premises),它施加容量不对称:解码器对查询保持全维度访问,而检索证据则经过一个严格的随机瓶颈。这迫使证据通道只编码查询中无法获得的残差信息。在五个推理基准上,GRIP优于强大的迭代基线,将查询-潜在互信息诊断指标削减约30倍(从14.8降至0.47比特),并将幻觉减少73%。残差对齐分析进一步表明,瓶颈输出所占的子空间与查询的对齐程度低于基线表示。
