Neuromem：LLM 外部记忆流式生命周期的细粒度分解

对外部记忆模块（External Memory Module）的大多数评估都假设静态设定：记忆离线构建，并在固定状态下查询。在实践中，记忆是流式的：新事实持续到达，插入与检索交错进行，记忆状态在模型服务查询的同时不断演化。在这种情形下，准确率与成本由完整的记忆生命周期决定，它涵盖信息的摄入、维护、检索以及整合进生成。我们提出 Neuromem，一个可扩展的测试平台，它在插入与检索交错的协议下对外部记忆模块进行基准测试，并将其生命周期分解为五个维度：记忆数据结构、规范化策略、合并策略、查询构造策略和上下文整合机制。Neuromem 使用 LOCOMO、LONGMEMEVAL 和 MEMORYAGENTBENCH 三个代表性数据集，在共享服务栈内评估可互换的变体，报告词元级 F1 和插入/检索延迟。总体而言，我们观察到随着记忆跨轮次增长，性能通常下降，且时间相关查询仍然是最具挑战性的类别。记忆数据结构在很大程度上决定了可达到的质量上限，而激进压缩与生成式整合机制大多只是在插入与检索之间转移成本，准确率收益有限。