NextMem:迈向面向基于LLM智能体的潜在事实记忆

记忆对LLM智能体保存过去观察以支持未来决策至关重要，其中事实记忆是其基础部分。然而，现有的构建事实记忆的方法存在若干局限。文本方法带来沉重的上下文与索引负担，而参数化方法则受灾难性遗忘和高成本之苦。为应对这些挑战，我们提出NextMem，一个潜在事实记忆框架，利用自回归自编码器高效构建潜在记忆，同时确保准确重建。为更好地优化，我们提出两阶段训练过程，包括自回归重建对齐和渐进式潜在替换。我们还引入量化以降低存储开销。大量实验表明，NextMem取得更优性能，并在检索、鲁棒性和可扩展性方面表现出色。我们在 https://github.com/nuster1128/NextMem 发布代码和模型检查点。