论文
Prometheus Mind:为冻结语言模型加装记忆
Prometheus Mind: Retrofitting Memory to Frozen Language Models
摘要
为预训练语言模型添加记忆通常需要架构更改或权重修改。我们提出 Prometheus Mind,它用 11 个模块化适配器(530MB,7% 开销)为冻结的 Qwen3-4B 加装记忆——移除适配器即可完全回退。构建该系统需要解决四个问题:(1) 提取——我们发展对比方向发现(CDD),无需标注数据即可通过最小对找出语义方向。(2) 训练——端到端优化会坍塌;在每个适配器上用简单代理任务进行分阶段训练则可行。(3) 注入——学习的编码器无法泛化;我们发现 lm_head 权重行已经提供所需映射,无需训练。(4) 隐状态坍塌——transformer 使 wife 与 brother 的相似度高达 0.98 以上;我们训练投影来恢复区分(0.98 → 0.09)。在 PrometheusExtract-132(132 个案例)上,系统在干净输入上达到 94.4% 的检索率(n=54,95% CI: [84.9%, 98.1%]),在带省略、填充词或隐式主语的非正式输入上降至 19.4%(n=36)。主要瓶颈是关系分类(47.3% 准确率),它造成了大多数提取错误。