论文
信念还是回路?情境中图学习的因果证据
Belief or Circuitry? Causal Evidence for In-Context Graph Learning
摘要
LLM如何做情境学习?是模式匹配近期token,还是推断潜在结构?我们用一个玩具图随机游走任务、跨两种竞争图结构探究该问题。此任务答案原则上可判定:模型要么追踪全局拓扑,要么复制局部转移。我们给出两条证据,说明单独任一解释都不充分。第一,经PCA重建内部表征结构揭示:在中间混合比率下,两种图拓扑同时被编码在正交的主子空间中。该模式难以与纯局部转移复制相容。第二,残差流激活补丁与图差异引导对该图家族信号做因果干预:晚层补丁几乎完全迁移干净图偏好,而线性引导使预测朝预期方向移动、并在范数匹配与标签打乱对照下失效。综上,我们的发现最支持双机制解释:真正的结构推断与归纳电路并行运作。
