RoPE 注意力是一个精确的前向传递梯度步骤，且 softmax 完好无损

我们推导出 RoPE-softmax 前向传播的精确梯度步表示。对于每个具有任意仿射投影权重的确定性 RoPE-softmax 注意力头，我们构造一个查询相关的有效矩阵 $ΔM_i$ 满足 $y_i = μ_i + u_i^\top ΔM_i$，其中 $μ_i$ 是关注值的统一平均值，$u_i$ 是增强查询输入。该构造应用经典的指数除差 $ρ= φ_1$ 来准确保留 softmax。它的正系数给出了查询条件二次目标上的单位梯度步表示。相同的函数将 RoPE 生成器连接到精确的位置有限差分。我们推导了一个用于重用一个查询矩阵的错误的标记式公式，并证明非常量有限缓存头不能接受全局精确的仿射查询读出。在一个预训练的 Qwen2.5-0.5B 层上进行重建检查和冻结重用校准可验证表示并量化重用一个查询矩阵时所需的校正。