正确的方向，错误的步骤：环形Transformer有限步故障的几何分析

循环 Transformer 通过重用共享层进行迭代潜在推理，提供了一种参数有效的测试时间扩展途径。然而，额外的迭代可能会减少对参考答案的支持，从而不清楚更新的方向是否局部无帮助或其完整位移移动得太远。我们通过分析参考效用来研究这种区别，参考效用沿着模型自身的更新方向测量这种支持，改变提供给读数的建议位移的分数。这揭示了有限步骤失败，其中局部改进方向产生有害的完整更新。路径曲率分解描述了初始进度如何丢失，而局部二次模型则预测全步增益和有用的步尺度。基于累积曲率变化的界限表征了这些预测的近似误差。两个模型系列的实验揭示了数学任务和常识任务的这种分离。对于四种设置中 72.2--83.2% 的选定故障，固定四分之一步长的参考效用会产生正收益。这些发现将更新方向和步长之间的不匹配确定为进度丢失的机制，解释了一些有害的更新如何保留有用的计算。