从自适应列表排序的角度重新思考自适应检索增强生成的必要性

自适应检索增强生成旨在通过动态确定检索补充段落的必要性来减轻外部噪声的干扰。然而，随着 大语言模型 随着对噪声的鲁棒性不断增强而不断发展，自适应检索的必要性值得重新评估。在本文中，我们重新思考了这种必要性，并提出了 AdaRankLLM，一种新颖的自适应检索框架。为了有效验证自适应列表重排序的必要性，我们首先开发一种采用零样本提示和段落丢失机制的自适应排序器，并将其生成结果与静态固定深度检索策略进行比较。此外，为了赋予较小的开源 LLM 精确的列表排序和自适应过滤功能，我们引入了通过数据采样和增强技术增强的两阶段渐进式 蒸馏 范例。跨三个数据集和八个 LLM 的大量实验表明，AdaRankLLM 在大多数场景中始终实现最佳性能，同时显着降低了上下文开销。至关重要的是，我们的分析揭示了自适应检索的角色转变：它充当较弱模型的关键噪声过滤器，以克服其局限性，同时充当更强推理模型的经济高效的效率优化器。