论文
SCAR:用于 RAG 中高效上下文扩展的语义连续性感知检索
SCAR: Semantic Continuity-Aware Retrieval for Efficient Context Expansion in RAG
摘要
检索增强生成(RAG)中的固定长度分块通常会导致边界碎片,其中关键证据被分割成多个片段,从而降低检索召回率。虽然静态窗口和父检索提高了召回率,但它们引入了显着的词元开销。我们提出了 SCAR(语义连续性感知检索),这是一种自适应检索策略,通过权衡查询-邻居相关性与结构连续性惩罚来选择性地扩展相邻块。 SCAR 使用与每个检索到的块自身的查询相关性相关的相对扩展阈值,产生近似尺度不变的决策规则,无需重新校准即可在嵌入模型之间传输。在四个不同的语料库(RFC、GDPR、10-K 报告和合并协议;N=320 个查询;160 个边界碎片)中,SCAR 仅用 7.84 个块就在边界碎片查询上实现了 92.8% 的召回率,与静态窗口(10.16 个块)相比减少了 22.9%。配对引导测试 (B=10,000) 确认块减少非常显着(p<0.0001,Cohen's d=-1.49,大效果),召回差异很小(Cohen's d=-0.33)。使用相同的单个超参数设置在三个嵌入模型(text-embedding-3-large、BGE-large-en-v1.5、zembed-1)之间进行策略传输,对 10-K 语料库的下游 RAGAS 评估确认 SCAR 保留了 忠实性 代,同时将上下文标记减少了 27.1%。