论文
不仅仅是内存:长上下文检索中的任务条件签名 FFN 写入
More Than Memory: Task-Conditioned Signed FFN Writes in Long-Context Retrieval
摘要
FFN 通常被视为参数存储器。然而,在长上下文检索中,更尖锐的问题不仅在于它们存储什么,还在于它们的本机残留写入是否将当前检索状态推向或远离正确答案。我们通过缩放模型自己的 FFN 一次写入一层来测试这一点,无需编辑权重或注入外部转向向量。在受控的文字和语义检索套件中,本机 FFN 响应面是有符号的、层特定的和任务条件化的:最终 FFN 在 8 个模型套件案例中的 7 个中是抑制器,60% 的层在检索模式之间切换角色(95% CI [50%, 69%])。沿本机写入的局部方向导数将两个单调角色分开:抑制器在 34/35 情况下具有负导数,而放大器在 18/18 情况下具有正导数,因此这些角色不能简化为写入大小。在安全过滤的 LongBench 检索-QA 探针上,相同的诊断预测 Qwen2.5-7B 上的原始 R^2=0.796 和 Qwen3.5-9B 上的原始 R^2=0.791 的衰减损伤;与随机和规范匹配控制相比,保留的抑制器衰减策略提高了检索余量。这些结果表明,本机 FFN 缩放在检索中公开了带符号的、任务条件的剩余写入结构,并且写入梯度对齐是对两个单调角色的紧凑诊断。