论文
FAIR-Calib：后训练 扩散量化的前沿感知不稳定性重新加权校准 大语言模型
FAIR-Calib: Frontier-Aware Instability-Reweighted Calibration for Post-Training Quantization of Diffusion Large Language Models
摘要
Diffusion 大语言模型 (dLLM) 迭代地完善词元，但不可逆转地提交它们，从而导致“稳定性滞后”，即早期决策即使在写入后仍然脆弱。我们发现，后训练 量化（PTQ）误差很容易翻转写入前沿的这些边界决策，然后这些决策被永久锁定并放大。为了解决这个问题，我们提出了前沿感知不稳定性重新加权校准（FAIR-Calib），这是一个用于 dLLM 的两阶段 PTQ 框架。第一阶段探测全精度教师，以结合前沿命中和屏蔽阶段可靠性来估计先验位置。第二阶段通过最小化重新加权的隐藏状态 MSE 来执行 离策略 分层校准，有效地优先保护脆弱的前沿状态，而不需要昂贵的端到端扩散部署。我们进一步从理论上证明我们的加权目标作为输出 KL 散度的替代指标是合理的。根据经验，FAIR-Calib 始终优于 LLaDA 和 Dream (W4A4) 上最先进的基线，显着减少了前沿决策翻转并抑制了不同基准的提交后不匹配。