当局部方差最优性不够时：用于动态 4 位量化的 RoPE 对齐 Q/K 旋转

基于旋转的 后训练 量化通常在整个注意力头中应用正交变换，以减少异常值引起的误差。相反，RoPE 将每个头划分为二维频率对，这就提出了这样的问题：考虑这种分解的变换是否可以改进全头混合。之前的工作已经建立了与 RoPE 通勤的每对轮换。我们陈述相反的结果，对于不同的频率，没有其他单头正交映射与 RoPE 通信。对于我们实验中使用的头部共享参数化，我们然后推导出在池协方差、位置平均代理下最小化较大通道方差的旋转角度，并验证实现是否达到其分析最小值。评估的共享头成对配置不会提高测试的动态 W4A4KV4 设置的准确性。在四个检查点中，用此配置替换全头 Hadamard 会增加短上下文长度和长上下文长度的困惑度。使用 Hadamard 组合成对旋转满足默认估计器下选定的 $\pm0.05$-PPL 区间标准。单独从 K 估计共享角度可以改善每个检查点上的成对性能，但并不能缩小与全头混合的差距。分析目标控制合并校准协方差的位置平均二阶矩，而动态量化器从标记组范围设置其步长。成对变换也仅支持双通道混合。沿着从两通道到全头混合的受控插值，K 范围、相对量化误差和困惑度退化随着支持的增加而减少。这些结果表明，当代理和混合支持与量化器的比例设置统计不一致时，结构化代理的最优性不需要减少量化误差。