REMORY：学习残余记忆以进行上下文压缩

长视野智能体会压缩其历史记录，以便在有限的上下文窗口内继续运行，但仅靠文本摘要可能无法支持每个后续决策。我们引入 REMORY，这是一种神经记忆网络，它用软记忆标记的有界序列来补充摘要。给定历史记录和摘要，网络学习生成token，帮助冻结的 LLM 近似其使用完整历史记录生成的延续。标记以摘要为条件并附加在摘要之后，形成沿序列维度的剩余连接的类似物。在 SummHay 上，REMORY 在几乎不变的洞察覆盖范围内改进了源归因，并仅使用 5.2% 的输入位置接近全上下文联合得分。在长期代理基准测试中，Qwen3.8-27B 和 GLM-5.3-Flash 在剩余内存方面表现出一致的增益。两个模型在 BrowseComp 和 Terminal-Bench 2.1 上的重复工具输出和工具错误也显着减少。