Llama-3中的路由后算术：末词元结果写入与旋转结构的数字方向

我们研究Meta-Llama-3-8B（base）在单词元读出设定下的三位数加法，刻画跨词元路由在因果上不再重要后算术答案如何定型。因果残差修补与累积注意力消融把一个清晰边界定位于约第17层：越过该层后，解码出的和几乎完全由最后一个输入词元控制，晚层自注意力大体可省。在这一路由后情形中，数字（数字和）方向词典随更高位上下文而变，但可通过共享低秩子空间内一个近似正交映射良好关联（低秩Procrustes对齐）。因果数字编辑与该几何相符：朴素的跨上下文迁移会失败，而经学习到的映射旋转方向可恢复严格的反事实编辑；阴性对照则无法恢复。