论文
检索前路由：针对 RAG 与长上下文选择激活 LLM 的潜在路由功能
Route Before Retrieve: Activating Latent Routing Abilities of LLMs for RAG vs. Long-Context Selection
摘要
大语言模型 (LLM) 的最新进展已将上下文窗口扩展到超过 128K 个标记，从而实现长文档理解和多源推理。然而，一个关键的挑战在于在检索增强生成（RAG）和长上下文（LC）策略之间进行选择：RAG 很高效，但受到检索质量的限制，而 LC 以更高的成本和位置敏感性支持全局推理。现有的方法（例如自路由）采用从 RAG 到 LC 的故障驱动回退，但仍然是被动、低效且难以解释。我们提出了 Pre-Route，一种主动路由框架，可在回答之前执行结构化推理。使用轻量级元数据（例如文档类型、长度、初始片段），预路由可以实现任务分析、覆盖范围估计和信息需求预测，从而生成可解释且经济高效的路由决策。我们的研究显示了三个关键发现：（i）LLM 具有潜在的路由能力，可以通过指导可靠地引出，从而使单样本性能接近多样本（N 中最佳）结果； (ii) 线性探针揭示结构化提示增强了表示空间中“最佳路由维度”的可分离性； (iii) 蒸馏 将这种推理结构转移到更小的模型以实现轻量级部署。 LaRA（域内）和 LongBench-v2 (OOD) 上的实验证实，预布线优于 Always-RAG、Always-LC 和自布线基线，实现了卓越的整体成本效益。