论文

MegaMem:面向超大上下文窗口的检索方案

MegaMem: A Retrieval Solution for Ultra-Large Context Windows

上下文与知识上下文工程检索增强记忆Agent记忆

摘要

现代语言模型和智能体日益需要覆盖完整代码库、长交互历史和异构企业记录的持久记忆。关键挑战是在只向答案模型传递有界源证据的同时,保持数亿token可搜索。我们提出MegaMem,一个源可解析的双视图检索系统,将语义访问与生成证据分离。蒸馏记录与详细证据通过原始查询和变换查询进行检索;每个蒸馏命中在倒数排序融合、去重和交叉编码器重排之前都解析为不可变的源ID;只有预算内排名最高的详细证据支持生成。答案后归因随后识别哪些已加载的源支持该固定答案。我们在EnterpriseRAG-Bench上评估MegaMem,该基准包含超过50万个异构企业文档和约6.5亿token。MegaMem将Overall从68.22提升到82.26,Correctness达到86.50。这些结果表明,MegaMem能在有界生成上下文下保持较强答案准确率的同时支持超大持久记忆。通过将可搜索记忆规模与答案上下文大小分离,MegaMem为覆盖数亿到十亿token记忆的准确检索提供了实用路径。我们的代码见 https://github.com/xfab-xinyuansong/MegaMem.git。

MegaMem:面向超大上下文窗口的检索方案:论文配图
图1:MegaMem 将超大规模持久内存映射到有界的证据上下文。企业知识以带来源链接的原始证据与类型化记忆的形式存储,通过多条查询路径检索,经融合与重排后,被精简为一小组详细的证据卡片,用于答案生成与来源归因。