论文
保留功能重新参数化下的表示测量
Representation Measurements Under Function-Preserving Reparameterizations
摘要
隐藏坐标不是由语言模型的输入输出函数唯一确定的,因此表示导出的测量对于基的功能保留变化应该是不变的。这项研究表明,列排列并行分析违反了保留函数的重新参数化不变性,因为它的参考分布和所选组件数量可能会发生变化,而模型函数和观察到的协方差谱保持固定。更一般地,数据内部参考过程不能同时保留每个坐标边际、保持正交等变并消除交叉坐标协方差。根据经验,在 5 个模型、3 个检索域和 75 个转换中,组件计数分歧中位数为 0.79,固定阈值决策分歧中位数为 0.26。仅居中控制隔离了参考驱动效应,尽管观察到的光谱没有变化,但 1,200 个组件中的 1,141 个组件计数发生了变化,而独立并行分析种子不会改变任何相应的决策。相比之下,正交不变的比较器分数在数值上保持稳定,并具有类似的保留歧视。总之,这些结果表明,并行分析导出的组件计数和决策可以反映隐藏坐标选择,而不是模型的明确定义的属性。