学习遗忘：以睡眠启发式记忆巩固解决大语言模型中的前摄干扰

大语言模型（LLM）受前摄干扰（PI）困扰：上下文窗口中的过时信息会干扰对当前值的检索。随着陈旧关联的累积，这种干扰使检索精度呈对数线性下降；该瓶颈与上下文长度无关且持续存在，并抵抗提示工程的缓解手段。生物大脑通过依赖睡眠的记忆巩固来解决类似挑战：突触缩放、选择性重放与定向遗忘。我们提出SleepGate，一个受生物学启发的框架，通过在键值（KV）缓存上施加可学习的睡眠周期来增强基于Transformer的LLM。SleepGate引入三种机制：（1）冲突感知的时间标记器，检测新条目何时取代旧条目；（2）经训练可选择性逐出或压缩陈旧缓存条目的轻量级遗忘门；（3）将幸存条目合并为紧凑摘要的巩固模块。这些组件在推理期间以睡眠微周期的形式周期性激活，由自适应的基于熵的触发器控制。我们形式化了一个双阶段训练目标，联合优化清醒阶段的语言建模与睡眠阶段巩固后的检索。理论分析表明，SleepGate将干扰范围从O(n)降至O(log n)。在小型Transformer（4层，793K参数）的实验中，SleepGate在PI深度5时达到99.5%的检索精度，在深度10时达到97.0%，而全部五个基线——完整KV缓存、滑动窗口、H2O、StreamingLLM以及仅衰减消融——均低于18%。我们的框架提供了提示工程无法解决、位于架构层面的解决方案。