LoopQ：递归 Transformer 的量化

循环语言模型 (LoopLM) 通过递归重用 Transformer 块来提高参数效率，从而在固定模型大小下实现更深入的计算。然而，这种重用使得 LoopLM 在 后训练 量化（PTQ）下更加脆弱。我们首次对 LoopLM 中的量化进行系统研究，并确定了三个挑战：跨角色的分布转移、跨循环转换的状态重用以及递归错误累积。为了应对这些挑战，我们提出了 LoopQ，这是一个循环感知的 PTQ 框架，它保留了共享的量化主干，同时引入了轻量级自适应。 LoopQ 结合了激活缩放、选择性变换、跨循环状态对齐和轨迹感知优化，以减少循环内的分布不匹配和循环之间的错误累积。七个基准测试的实验表明，在 W4A4 量化下，与最强的静态 PTQ 基线相比，LoopQ 将平均下游精度提高了 68.8%，并将平均困惑度降低了 87.7%。