论文

什么时候以及多长时间?时间推理中的读出中介角

When and How Long? The Readout-Mediator Angle in Temporal Reasoning

模型评测模型行为与机制分析

摘要

线性探针可以几乎完美地解码表示,但与模型如何使用它完全无关。在语言模型中的日历日期持续时间推理中, $\sin$/$\cos$ 探针从层的激活中恢复年份,但消融其方向对模型的答案没有影响 - 而消融分布式对齐搜索 (DAS) 在同一层找到的四维子空间会完全崩溃性能。我们测量这两个子空间之间的角度——\emph{readout-mediator angle}——并发现它与两个随机子空间之间的角度(哈尔均匀零值)无法区分,这意味着探针已经学会了与模型实际计算正交的方向。对电路进行逆向工程揭示了原因:注意力头通过${\pm}30$和${\pm}61$天学习的QK偏移来路由月份粒度的上下文,然后MLP将\emph{when}(绝对日期)转换为\emph{how long}(持续时间)——所有这些都位于探针从未接触过的因果子空间的下游。稀疏自动编码器分解证实了这种分裂:探针对齐和 DAS 对齐的特征编码语义上不相交的概念,因果重叠可以忽略不计。这种解离在四个尺度($1.5$-$9\,$B)和两个模型系列中复制,并在另外两个领域(空间位移、符号算术)上提供了初步证据,表明读出中介正交性是基于探针的可解释性的一般失败模式。这直接破坏了将探测器部署为运行时安全监视器的提议:探测器可以报告模型已悄悄放弃的方向的高置信度。