共享停止决策改变 HQQ 缓存量化的答案

语言模型系统会批量处理吞吐量问题，但当目标的输入和数值执行固定时，不相关的问题不应改变目标的答案。我们研究键和值缓存的压缩，它存储在生成过程中重用的注意力表示。通过请求本地组，Transformers 的半二次量化 (HQQ) 后端单独更新压缩参数，但使用共享平均误差来决定何时停止所有更新。仅替换与目标批处理的问题会更改两个模型的 170/384 测试比较中的四位 HQQ 答案。重播其他执行的更新计数会在每个更改对中在两个方向上重现其完整答案和缓存指纹。计算 FP32 中的停止平均值会减少缓存差异，但会留下答案更改。本机 HQQ 还更改了八个算术对中已确认的数值正确性。固定迭代和请求本地停止消除了匹配控制下观察到的同伴依赖性。请求局部停止对张量级别的合成填充变化仍然敏感。修复原始迭代预算无需调整即可删除此决策路径。这两种修复都没有既定的质量优势，并且自然重新分批仍然会改变答案。请求独立性审核必须涵盖停止决策以及量化组。