LoRA 是如何记忆的？ LLM 微调的参数记忆定律

大语言模型 (LLM) 必须不断学习和更新知识，才能在动态的现实环境中保持有效。虽然低秩适应（LoRA）广泛用于此类内存更新，但现有研究主要依赖于定性下游评估，而很大程度上未探索精确参数内存的定量容量限制和潜在动态。为了弥补这一差距，我们采用 LoRA 作为潜在空间内的受控内存容量探针，以系统地量化精确的参数内存。我们引入了参数记忆定律，这是一种将损失减少 Delta L 与有效参数和序列长度联系起来的稳健幂律。在 词元级 中，细粒度分析揭示了确定性相变，证明 p > 0.5 的预测概率构成了贪婪解码下逐字回忆的充分条件。在这些见解的推动下，我们引入了 MemFT，这是一种阈值引导的优化策略，可以动态地将训练预算重新分配给亚阈值词元。实证评估表明 MemFT 可以提高记忆保真度和效率。代码将在 https://github.com/zjunlp/ParametricMemoryLaw 发布。