通过专家对齐的绘图解耦对比解码

对比解码 (CD) 提高了生成质量，但其业余模型通道使得解码成本昂贵。使用 推测解码 加速 CD 提出了提案对齐问题：对比信号是否应该塑造起草者，还是应该仅保留在验证中？我们在轻量级特征级起草者制度中研究这个问题。两种受控诊断（匹配的 Cross-alpha 训练和近似双绘图员分解）给出了相同的诊断：对比感知绘图并不能始终优于专家对齐绘图，因为对比校正通常弱于绘图员误差，而重建可以放大该误差。我们引入了解耦对比解码（DCD），它与专家一致的轻量级提议者一起起草，并且仅在未更改的 CD 验证中应用业余爱好者。标准推测验证保留了 vanilla-CD 输出分布。在主要的 8B 设置中，基于 EAGLE3 的 DCD 比普通 CD 实现了 1.65 到 1.95 倍的平均贪婪加速，并且相对于业余耦合的提议路径将 MMLU 提议路径延迟减少了大约 5 到 12 倍。