论文
SemRF:语言模型中残余流动力学的语义参考框架
SemRF: A Semantic Reference Frame for Residual-Stream Dynamics in Language Models
摘要
残差流分析询问语言模型计算如何跨深度演变,但中间解码需要跨层的可比较的读出坐标。如果嵌入锚点和非嵌入读数在所选跨度上不一致,则表观运动可能反映测量漂移而不是计算。我们引入\emph{语义参考框架}(SemRF),一种基于锚的形式主义,将语义测量与残余动态分开。 SemRF 修复锚点并针对它们测量状态。伪逆捆绑提供了精确的同步;在受限的双向可逆性下,SemRF 产生稳定的语义基础坐标、畸变边界和近乎同一的变化。框架固定后,残差计算就变成了深度语义轨迹。锚点产生语义 Voronoi 图:距离或 logits 等证据将每一层分配给一个粗单元,而坐标保留单元内的运动和边距。我们定义分层步骤、贡献曲线和不平衡诊断,然后使用 Voronoi 迹来定义边缘松弛管。规范轨迹是该管内的最小作用路径;当具有正二次权重的非空时,它是唯一的并且服从远离主动约束的离散样条方程。过度作用可控制台阶、曲率和轮廓不匹配。低曲率意味着分段线性压缩性和局部知识密度:较低的轨迹复杂性意味着更少的语义结。通过参数到轨迹映射,这给出了参数效率的条件链接:在拟合数据的允许设置中,较低动作和较低复杂性的轨迹使用较少的语义自由度。这些保证需要在显式管约束下控制接口误差和小投影残差。