ElasticMem：潜在内存作为 LLM 代理的可学习资源

长期记忆对于 LLM 代理在扩展交互中进行连贯推理、个性化响应和重用过去的经验至关重要。然而，现有的记忆增强方法通常将记忆视为固定资源：文本空间方法将检索到的记忆连接到上下文窗口中，导致大量的词元开销和对噪声证据的敏感性，而潜在空间方法减少了文本成本，但仍然依赖于严格的检索或固定容量的内存接口。这会在依赖于查询的内存实用程序和固定内存分配之间造成不匹配。我们提出了 ElasticMem，一个内存增强的 LLM 框架，它学习使用内存作为弹性潜在资源。 ElasticMem 使用检索键和内容缓存构建离线潜在内存库，从推理器的隐藏状态自适应地检索内存，通过学习策略为每个检索到的内存分配可变的潜在预算，并注入选定的潜在状态作为软内存词元进行生成。通过组相关策略优化，利用下游任务奖励来优化完整的内存使用过程。我们在 MemorySuite 上评估 ElasticMem，涵盖内存密集型 QA 和具体代理控制。在 Qwen2.5-3B-Instruct 和 Qwen2.5-7B-Instruct 主干网络中，相对于最强的基线，ElasticMem 将加权平均 QA 准确率提高了 26.2% 和 24.6%，将 ALFWorld 成功率提高了 66.3% 和 27.2%，同时平均消耗 ALFWorld 上最少的词元。消融和定性分析进一步表明，自适应检索和弹性预算分配有助于 ElasticMem 优先考虑有用证据和可转移计划，超越严格的余弦相似性。