Transformer 中的关系排名几何：检测和引导隐藏状态关系框架

Transformer 隐藏状态通常通过局部或低阶对象来解释：神经元、稀疏特征、注意力头、残余流方向或激活补丁。本文研究了一个互补的对象：标记元组之间关系的排序索引几何。我使用 Plucker 符号熵来测试 r 参数关系是否在隐藏状态空间中留下数量匹配的方向签名。在 Llama-family 8B、70B 和 405B 检查点中，真实关系元组在 r=3,...,6 的预期等级 k=r 上表现出比匹配随机控制审核下的乱序元组更强的方向符号一致性。多模板审核表明，效果可以承受表面变化，所有测试的 405B 行都保留正的预期排名裕度，8B/70B 保留具有构造函数特定混合单元的正行。然后我询问是否可以操纵相同的关系几何形状。在超过 32 个提示的边缘网格清洁/损坏干预分析中，行/列支架和答案格式保持固定，而“是/否”关系图发生变化，并且损坏的隐藏状态关系框架被修补为干净或安慰剂目标。在 70B 和 405B 中，干净目标关系框架路径恢复干净答案行为和残余关系几何形状，而仅质心和等范数控制显示可忽略不计的恢复。位点/顺序控制进一步将标记位点重要性与有序的干净框架几何结构分开：目标清洁形状和交叉提示清洁形状恢复标记界面处的行为和残余几何形状，而损坏供体转移、同一位点排列/反射、错误位点清洁增量、仅质心运动和等范噪声失败或仍远低于清洁框架路径。结果是从关系探测到关系框架干预的受控桥梁：可以在 Transformer 隐藏状态中检测、定位和行为验证关系等级几何。