循环残差量化：LLM 的渐进多精度表示

在不同的部署限制下为 大语言模型 (LLM) 提供服务需要在准确性、内存占用和吞吐量之间进行灵活的权衡。然而，传统的量化方法通常需要针对每个目标位宽的单独的检查点。我们引入了循环残差量化 (RRQ)，这是一种 后训练 量化 (PTQ) 框架，它将权重表示为低位量化基础以及一系列量化残差校正序列，从而从单个检查点实现多个有效精度。从通过 后训练 量化 (PTQ) 或舍入到最近 (RTN) 获得的 2 位模型开始，RRQ 逐步添加通过 RTN 生成的轻量级 2 位残差，以构造 4、6 和 8 位表示。该方法无需校准，避免了联合多位优化。在我们的 Qwen3-8B 设置中，完整的全 RTN 2/4/6/8 位包在 1,293 秒内构建完成，比测量的 MatGPTQ 构建快 3.3 倍。最近对 6 个 LLM 进行的实验表明，在 6 位和 8 位上具有具有竞争力的精度，在 4 位上具有与模型相关的行为。该代码将在发布后公开。