论文

ALLOT:LLM知识更新的预算混合内存路由

ALLOT: Budgeted Hybrid-Memory Routing for Knowledge Updates in LLMs

模型训练模型编辑与遗忘

摘要

对于大语言模型 (LLM),当检索已经足够时,参数适应的成本很高。我们引入了 ALLOT,一种混合​​内存路由框架,它将学习的写入优先级与硬参数预算分开。内存感知路由器结合了冻结文本表示、检索置信度和关系元数据;单个排名支持多个写入预算,同时将所有事实保留在外部存储器中。在使用 Qwen3-4B 的 CounterFact 上,ALLOT 以 20% 的参数写入预算达到 0.760 的准确度,并恢复了 78.4% 的预算匹配预言机增益,参数写入比双写入每个事实减少了 80%。在此预算下,向文本联合添加检索和关系特征可将标准化预言机增益提高 6.2 个百分点。互补的 Qwen3-0.6B 共享存储结果以 6-14.5% 的参数写入实现双写入级精度,并且跨基准传输保留了大约 88% 的域内增益。这些结果支持根据其增量值来分配适应能力,而不是将每个事实更新视为同等有价值的训练目标。