ReRound：用重建引导舍入，解决免校准LLM量化的中点歧义

ReRound是解决最近舍入（RTN）量化区间中点歧义的训练后量化方法。它从预训练LLM出发，训练条件扩散模型，生成低比特权重的连续重建，用以确定中点附近权重的舍入方向。方法定义容差指标衡量量化权重（而非最终整数）距中点的距离；容差区域内使用扩散重建引导，更靠近量化边界时沿用RTN。扫描容差参数后产生多个量化整数矩阵，再选出反量化后主要奇异值最接近原始全精度权重的候选，以确定最终容差。ReRound尤其适合小型LLM，在多种模型的3比特和4比特权重量化上持续优于RTN，也优于多种免校准方法，并与需要校准的方法保持竞争力。所有处理离线完成，不增加低比特推理开销。方法原则可用于LLM之外的模型，本文重点研究小型LLM。