论文

记忆深度而非记忆访问:面向长期运行语言智能体的选择性参数固化

Memory Depth, Not Memory Access: Selective Parametric Consolidation for Long-Running Language Agents

模型训练参数高效训练

摘要

长期运行的语言智能体需要的比记忆访问更多。检索系统能在查询时取回过往事实——但不决定哪些经历应继续在工作上下文卸载后塑造行为。我们把这一独立问题研究为记忆深度:写入小型参数存储的持久目标条件倾向。我们引入循环漂移协议——受控压力测试:检索索引保持完好——工作上下文被卸载——目标条件行为必须在长环干扰下持续。我们评估EVAF——惊讶与效价门控的LoRA固化机制。跨GPT-2与TinyLlama——检索在浅层事实回忆上最强(短事实准确率0.956-0.973)——而EVAF在目标持久性与卸载后恢复上最强(0.812-0.904)——每200事件仅2-3次参数写入。机制控制表明选择性固化分解为两个可控维度:选择与驱动。匹配随机门在稀疏写入之外分离出选择;跨GPT-2、TinyLlama与Mistral-7B的固定内环控制显示内环写入强度依模型而异;Mistral-7B匹配门反演揭示驱动失准下的非对称选择-驱动耦合。公开Memora事件流作为外部诊断——暴露过期记忆失效为未解决的边界。在此探针内——选择性参数固化提供与检索访问不同且互补的记忆深度。