论文
面向免训练记忆使用的控制架构
A Control Architecture for Training-Free Memory Use
摘要
注入提示词的记忆可以在不更新模型权重的情况下改进推理,但它也带来了一个控制问题:检索到的内容只有在正确的状态下被应用才有帮助。我们在严格的免训练设定下研究这一问题,并将其形式化为适用性控制:何时触发记忆辅助的第二次处理、何时信任它,以及如何随时间维护记忆库。我们的方法结合了基于不确定性的路由、基于置信度的选择性接受、规则记忆与样例记忆之间的库选择,以及基于证据的记忆库长期治理。在带计算量匹配对照的锁定免训练协议下,它在两个核心算术基准上相对基线取得 SVAMP +7.0 分与 ASDiv +7.67 分的提升。同一架构还能迁移到问答与智能体基准并获得较小的正向效果,且在主要算术任务上于第二个检查点表现出相同的正向方向。在算术上,主要的实证模式是:驱动 SVAMP 与 ASDiv 提升的是控制架构本身,而非原始的记忆暴露。从机制上看,置信度能够区分有益与有害的规则库干预,且在固定检索下,修复与损坏的差异定位于检索集合确实包含被编辑条目的那些行。
