Tail-Aware Adaptive-k：用于检索增强生成的查询自适应上下文选择

自适应上下文选择对于检索增强生成 (RAG) 系统至关重要，因为固定的 Top-K 检索在查询相关和重尾相似性分布下会失败。虽然极值理论 (EVT) 为自适应截断提供了原则框架，但现有方法在整个排名列表中全局应用 EVT，从而导致计算成本过高和统计不稳定。我们提出了 Tail-Aware Adaptive-k（TAA-k），这是一个 无需训练 框架，可通过本地化验证策略来操作 EVT。关键的见解是，排名相似性曲线表现出一种特征性的陡峭-平坦-陡峭模式，反映了从相关性主导到噪声主导状态的转变。 TAA-k 通过拐点检测利用这种几何结构来识别紧凑的候选区域，然后在此窗口内应用基于 EVT 的拟合优度测试来验证尾部行为的开始。这种从粗到精的设计将计算复杂度从 O(N^2M) 降低到 O(sqrt{N\log N}*M)，同时保持统计严谨性。在温和的单调似然比假设下，TAA-k 产生与最早的噪声主导位置相对应的稳定的、查询自适应的截止值。 WebQuestions、2WikiMultiHopQA 和 MuSiQue 上的实验表明，TAA-k 实现了接近预言机的检索质量（F1 在预言机的 2-3% 以内），与全局 EVT 方法相比，效率提高了几个数量级，同时保持了嵌入模型和压缩维度的鲁棒性。