循环 Transformer 量化：反馈暴露与校准盲区

循环Transformer在重复步骤中重复使用权重，使得低位量化特别有吸引力。我们确定了标准训练后量化的两种不同的失败模式。在 Huginn-3.5B 上，每通道 INT4 主要在非残差环路入口适配器处失败，而量化残差核心的破坏性要小得多。我们称之为反馈暴露：量化层在没有恒等路径的情况下扰乱循环状态，并且产生的错误在后续步骤中反馈。线性滤波器和 Mamba 状态空间模型的对照实验表明，反馈暴露也发生在Transformer外部。分组 INT4 揭示了一种单独的失败，即校准盲目性：我们的一步 GPTQ 基线从步 0 激活构建其 Hessian 矩阵，使稍后在递归中使用的输入方向几乎不加权。在七个循环架构的九个检查点中，单步 GPTQ 在五个检查点的主要任务指标上比舍入到最近值 (RTN) 更差。在所有九个检查点上，跨递归步骤累积 GPTQ Hessian 的性能优于单步 GPTQ 和 RTN，并在 Huginn 上恢复 bf16 级别的精度。这些结果将循环模型上的 PTQ 的两个问题分开：量化误差在哪里进入循环，以及校准看到的状态。