RoPE 衍生物的精确有限注意力响应

我们针对注意力干预得出精确的本地响应，从而允许根据缓存的基线和一次向后传递对候选编辑进行评分。起点是 RoPE 导数 $\partial_p z(p) = A z(p)$：它的积分给出了有限的位置位移，我们在不线性化旋转或归一化的情况下通过 softmax 进行计算。结果预测在 768 个保留提示集上执行的 92,160 次位置编辑中实现了 95.36--96.52% 的符号准确度，相对于位置雅可比行列式将答案裕度 MAE 降低了 73.6--82.5%，相对于零则降低了 36.2--50.9%。对于同时进行键和值编辑，相同的除差演算会隔离交互项 $C_{KV} = \sum_j (p'_j - p_j)\,\varepsilon_j$，通过添加单独的属性可以省略该交互项。在跨两种 Qwen 大小、两项任务和多层的 5,120 次干预扫描的每种设置中，保留它都会使下游利润 MAE 降低九倍以上；相对于二次相互作用校正的减少量为 75.9--98.5%。准确性涉及编辑后的注意事项；下游预测以基线梯度收缩该响应，并由本机执行进行评估。微积分还产生局部逼近误差的 KL 证书、精确的查询条件梯度步表示（其曲率识别保持注意力的查询方向）以及最小范数查询控制。稀疏评估支持显式局部失真标准下的候选排序和缓存决策。