CONCORD：文档隔离下设备-云RAG的异步稀疏聚合

检索增强生成（RAG）已成为通过在推理时结合外部知识来改进语言模型的关键技术。由于端云协同推理使得在边缘设备上部署小型语言模型成为可能，因此出现了一种新的设置，即私有文档保留在设备上，公共知识驻留在云端。隐私和政策限制通常禁止原始文档交换，从而创建文档隔离的双端 RAG 设置。然而，现有方法依赖于频繁的远程同步和密集的证据传输，限制了实际延迟和带宽条件下的吞吐量。为了解决这个问题，我们提出了 CONCORD，一种文档隔离下双端 RAG 的异步稀疏聚合框架。 CONCORD 将云视为异步到达的证据源，而不是持续同步的联合生成器。具体来说，我们引入等待债务控制来根据观察到的等待返回来决定每个解码步骤是否应该继续等待远程参与。我们还设计了一种证书引导的最小补充机制，仅请求确定当前贪婪决策所需的远程证据。咨询云的步骤保留与密集双端聚合相同的贪婪令牌，而其余步骤在本地提交而无需远程证据。 Natural Questions 和 WikiText-2 的实验表明，CONCORD 相对于基线分别将端到端吞吐量提高了 $1.66\times$ 和 $2.15\times$，同时将每个令牌的通信减少了两个以上数量级，并保持了相当的答案质量和困惑度。