论文

梯度看不到排名:ProsQA 上 Matrix-CODI 中的排名无差异

The Gradient Does Not See Rank: Rank-Indifference in Matrix-CODI on ProsQA

模型评测模型行为与机制分析

摘要

连续的思想链模型将推理压缩为潜在的标记。矩阵值变体通过 d x d 矩阵瓶颈路由每个潜在标记,引入排名作为潜在矩阵 Z 上可观察的单样本结构。如果潜在矩阵通过叠加携带并行推理路径,排名应该跟踪它们,并且将 Z 截断到低秩应该会损害其解决方案可能需要多个组件的任务的准确性。在矩阵 CODI 模型的四种训练方案中(三种在 ProsQA 上,一种在低于学习阈值的 GSM8K-Aug 上),rank-k 投影消融曲线平坦,误差在 0.6 个百分点以内。三种子复制产生 81.0 +/- 2.0 个百分点的准确度,而 Z 的最终有效排名跨度为 {4, 12, 13};损失不会奖励任何特定的排名。为了测试排序盲性是否仅由扁平化然后投影读数产生,我们训练了四个读数:双线性重参数化、Z 中的双线性加 GELU 非线性读数、通过 MLP 提供奇异值的 SVD 增强读数以及 Z Z^T 中的二次读数。所有四个 k 级曲线均保持平坦(Spearman p 值 0.63、0.14、0.82、0.46)。对于 Z 中的非线性读数,平坦曲线仍然存在。Z 上的线性探针在目标预测时的性能低于原始预训练隐藏状态(AUC 0.673 与 0.846)。普通 GPT-2 SFT 的阴性对照(无矩阵瓶颈,无 Z,三个种子,n=500)在相同的干预范式下重现了平坦的 k 级曲线,合并均值范围为 0.20pp,并且随机 h 敏感度下限达到相同的精度:单独的 k 级消融将等级盲性与位置无关性混为一谈。