从扫描到接缝：交错式跨块训练后量化

通过分块训练后量化将大语言模型压缩到2比特或更低正日益可行；跨块变体在移动窗口内重构相邻的Transformer块。在本文研究的固定双块设定下，匹配的顺序基线只让窗口扫过网络一次，因此扫描早期引入的误差不会被重新处理。我们提出交错跨块量化（ICBQ），一种重新处理相邻分块之间边界块对的调度修改。每个接缝块对被精炼两次：一次在上一分块结束时，一次在下一分块开始时。该方法保留局部双块目标，并复用现有分块PTQ流水线的校准输入。在给定的局部收缩与平滑假设下，我们推导了逐深度上界比较：接缝重访会倍增传播项，而残差保持与深度无关的有界性。在报告的实验中，ICBQ相对匹配的顺序CBQ基线降低了三值量化的困惑度，在基线严重退化的配置下仍得到有限困惑度，并可与3比特和2比特GPTQ配合使用。