论文
重复共享访问使Grokking成为可能,但编辑传播取决于可寻址记忆
Repeated Shared Access Enables Grokking, but Edit Propagation Depends on an Addressable Memory
摘要
我们在受控合成知识图谱QA设定中研究事实编辑传播——以2×2网格交叉循环递归与共享记忆访问:稠密transformer(Dense)、循环transformer(Loop)、带共享记忆的稠密骨干(Dense+Mem)——以及带共享记忆的循环骨干(loop-memory耦合,LMC)。两个因子解耦。对学习而言——通往重复共享访问的两条路径——循环重算与重复记忆重读——都跨越Dense失败的分_OOD grokking屏障——所以重复共享访问是行为规律——而非特定架构。对编辑而言——基底沿另一轴分裂:施加单一局部事实编辑(以直接成功为条件)——并在共享的编辑前正确集上测2跳传播——编辑在两个含记忆单元中强传播(LMC 0.78-0.92、Dense+Mem 0.71-0.96)——仅在无记忆单元中弱传播(Loop 0.04-0.30、Dense 0.00-0.03)。分裂沿记忆轴而非循环轴:每个含记忆种子超过每个无记忆种子——两个记忆单元间无可检差异。关键的是Dense+Mem没有递归——所以传播成分是编辑可写入、后续计算可重读的可寻址位点——而非循环重算;Loop至多是部分中间态。该可供性在存储粗化(N=128到13)后仍存:传播衰减但记忆/无记忆分裂持续——所以细粒度买到的是精度而非可供性本身。这些结果把学习能力与编辑可供性解耦——重复共享访问足以grok——但编辑传播取决于基底是否暴露前向计算可写入、后可重读的可寻址记忆——该可供性循环递归只能部分提供。