论文

ScoreGate:通过双分数统计融合进行检索增强生成的自适应块选择

ScoreGate: Adaptive Chunk Selection for Retrieval-Augmented Generation via Dual-Score Statistical Fusion

上下文与知识检索增强

摘要

固定基数检索将恒定的前 K 个块注入到生成器中,而不管查询的复杂性如何,从而导致窄查询的过度检索和组合查询的检索不足。我们描述了 ScoreGate,一种轻量级的分数空间决策机制,它使用标准管道已经生成的两个分数来控制推理时的检索基数:双编码器相似度 s_i 和跨编码器重排序分数 r_i,无需额外的模型推理调用。其核心见解是,跨编码器肯定可以挽救语义相关的块,而双编码器检索由于词汇不匹配而排名较差,这是固定 K 或单分阈值无法解决的故障模式。在 MS MARCO(200 个开发查询)上,ScoreGate 实现了 MRR@10 = 0.401,保留的块比标准 Top-K 少了 35%。在内部基准测试中(n=300,Fleiss 的 kappa=0.87),ScoreGate 在 97.77-99.34% 的召回率下观察到零误报(95% CI [96.4%, 100%]),每个查询的词元数减少了 34.8%,并且仅增加了 31 毫秒的延迟。 MS MARCO 和实际生产流量的结果表明,自适应检索基数可以提高检索效率,而不会降低检索质量。