微调 量化代码空间中具有梯度的低位模型

微调 低位模型旨在适应量化模型，同时保持最终部署的检查点处于相同的低位形式。此设置实际上很重要，因为它减少了存储和部署的内存和推理成本。在这种约束下，自适应成为量化代码和尺度上的优化问题。现有的连续低位训练是有效的，但它可能会因直通估计误差或后量化间隙而失真；离散搜索是部署忠实的，但在有限的训练预算下通常效率太低。我们建议将代码代理梯度作为可部署代码空间中的一阶信号以加速优化，并执行引导搜索以保留部署 忠实性。算术推理、指令跟踪和结构化语言理解方面的实验表明，GradCodes 能够持续改进不同量化数据类型的 微调 低位模型。代码位于 https://github.com/ovo67/GradCodes。