用于量化零阶优化的压缩扩展器对齐查询几何

低位前向评估是实现内存高效零阶 (ZO) 适应的一条有吸引力的途径：优化器仅需要标量损失，并且可以在接近部署精度的情况下查询模型。障碍在于量化的 ZO 查询不是连续的有限差分，然后是无害的存储舍入。查询选择端点，低精度引擎对它们进行舍入，并沿着舍入弦测量损耗差异。对于非均匀压扩量化器，这使得码本不足以预测 ZO 行为：固定的权重空间半径可能会在密集单元中塌陷、超出稀疏单元，或者将圆角弦分配给不圆角更新方向。我们将丢失的对象识别为查询几何体，并将模型标量非均匀量化为 $Q = φ^{-1} \circ U \circ φ$。 CAQ-ZO（用于零阶优化的压缩扩展对齐查询）在 $z = φ(x)$ 中形成单网格步 Rademacher 模板 $z \pm Δr$，通过 $φ^{-1}$ 映射端点，并在 $z$ 中更新。我们的理论证明了网格跨度不匹配，分解了端点舍入估计残差，并给出了平稳性界限，其中通用离网查询保留 $Δ^2/μ^2$ 残差通道，而 CAQ-ZO 使查询时间残差恰好为零。综合实验隔离了该通道，并且匹配的 NF4 Qwen/Llama 微调 表明，CAQ-ZO 在相同的量化器和评估预算下改进了训练的 NF4 基线。