用于低位 LLM 权重修复的激活加权种子残留编码

低位权重量化可以节省存储空间，但会留下降低 LLM 质量的错误。我们引入了激活加权种子残差编码（AWSRC），这是一种针对现有量化主干的紧凑修复编解码器。给定重建的权重 $W_0$，AWSRC 使用确定性种子生成的基数对残差 $W-W_0$ 进行编码。 sidecar 存储种子选择器、低位系数和尺度，而不是显式的码本。两种变体将激活权重与每个模块字节配额 ($\mathrm{AWSRC\text{-}U}$) 相结合，或将混合激活/Fisher 权重与全球排名的渐进前缀 ($\mathrm{AWSRC\text{-}P}_{F}$) 相结合，支持多字节预算而无需重新调整。在 Qwen2.5-3B-Instruct 上，将 $0.162$ 范围位/权重添加到 RTN-INT4 基线中，PPL、KL 和 11 任务平均精度与 BF16 的差距分别为 $88.2\%$、$78.9\%$ 和 $71.3\%$。 AWSRC 在字节匹配残差编解码器消融方面实现了最高的平均下游精度，并改进了具有多达 32B 参数的模型系列的所有指标。