MARR：低位 后训练 量化的模块自适应残差重建

最近，基于残差重建的模型量化方法通过引入跨层残差来减少先前层累积的误差，在低比特 后训练 量化（PTQ）中取得了有希望的性能。然而，这些残差也可能引入由于基于重建的 PTQ 底层的 Hessian 近似（HA）假设而产生的额外偏差，导致量化性能不理想。在这项工作中，我们分析将残差项乘以缩放系数提供了一种直接的方法减轻与残余强度相关的 HA 偏差，同时保留累积误差校正。更重要的是，我们观察到这种权衡是依赖于模块的，使得单个全局残差强度不足以平衡模块之间的有效校正和残差相关偏差。基于这些观察，我们提出了模块自适应残差重建（MARR），它分配一个特定于模块的缩放系数来自适应地平衡每个模块的累积误差校正和残差相关的HA偏差。为了避免昂贵的每模块系数搜索并获得稳定的系数估计，我们设计了比例积分导数基于 (PID) 的自适应更新策略，使用重构误差作为反馈来逐步细化该系数。在几种典型的 大语言模型 (LLM) 和视觉 Transformer (ViTs) 上的实验证明了 MARR 在低位量化（小于或等于 4 位）下的有效性，与最先进的残差重建相比，LLM 实现了高达 20.2% 的性能增益，ViTs 的相对增益高达 4.6%代码将在接受后公开发布。