ExpWeaver：LLM 代理通过潜在 RAG 从经验中学习

通过将过去的交互整合为可重用的知识，经验学习在增强 LLM 智能体规划和推理方面取得了可喜的成果。然而，现有的方法仍然局限于显式文本空间，通过语义相似性检索经验并将它们连接到上下文窗口中，从而导致大量的词元开销和将检索与生成分开的解耦架构。为了解决这些限制，我们提出了 ExpWeaver，这是一个框架，使 LLM 代理能够通过潜在检索增强生成从经验中学习，而不需要单独的 RAG 模块。 ExpWeaver 使用 LLM 自己的隐藏状态对体验进行编码，在每个解码步骤中直接在潜在空间中检索相关体验，并通过交叉注意聚合和门控残差机制将它们集成。整个管道通过强化学习进行端到端优化，支持生成任务和排名任务。我们根据 13 项不同的任务对 ExpWeaver 进行评估，涵盖问答、推理、编码、科学预测和推荐。结果表明，ExpWeaver 在 13 项任务中的 12 项上实现了最先进的性能，比最强基线高出 6.8% 以上；保持与非检索基线相当的词元效率，而基于文本的检索方法需要 1.5 到 2 倍的词元；并表现出优异的跨域泛化能力，在零镜头传输下比最强基线高出 16.32%，在少镜头传输下比最强基线高出 15.21%。我们的 ExpWeaver 代码发布于 https://github.com/ulab-uiuc/ExpWeaver。