用于移动检索增强生成的轻量级块选择

RAG 通过整合外部知识改善了 LLM 的事实基础，但在移动和边缘设备上部署 RAG 仍然具有挑战性，因为检索的上下文会增加计算和内存。降低这一成本的一种直接方法是在生成之前仅保留一个检索到的块，但是排名靠前的检索到的块并不总是最有证据支持的块，因为检索相似性并不一定意味着证据充分。现有的上下文缩减方法可以提高上下文质量，但通常需要额外的 LLM 或压缩器，这在严格的移动预算下成本高昂。在本文中，我们将轻量级 RAG 块选择作为证据对齐问题进行研究。我们的选择器结合了三个互补的特征源：代表 LLM 端查询意图的问题隐藏状态、捕获生成器内部路由结构的 MoE 路由派生专家信号以及保留候选端证据几何的检索块嵌入。紧凑的多层感知器将这些特征映射到块嵌入空间中的证据原型，并且通过余弦相似度选择与该原型最一致的候选者。对于更严格的部署预算，我们进一步引入了可选的任务感知功能选择策略来减少选择器输入维度。为了支持监督评估，我们基于证据充分性而不是答案字符串包含来构建语义块正确性标签。实验表明，所提出的选择器持续将 1 级证据选择比移动适用的基线平均提高了 2.5%。这些结果表明，使用 LLM 端查询表示和 MoE 路由信息并将它们与检索端候选嵌入对齐是移动适用的 RAG 块选择的有效且参数高效的策略。