量化循环状态缓存的低差异抖动

Mamba 风格和混合语言模型将其过去压缩为固定大小的循环状态，该状态在每个生成的标记处重写。以低精度存储此状态可以节省内存带宽，但每个舍入误差都会反馈到下一次更新中，并且可能会在很长的世代中累积。生产系统随机分布在整个状态；我们询问此类缓存应使用哪种舍入规则。我们发现，不需要随机数的确定性黄金比例 Weyl 抖动始终使量化模型比随机舍入更接近全精度模型，无论是纯模型还是混合模型、存储格式和长解码范围，都无需额外成本。舍入到最近的行为不同：因为它丢弃小的更新，所以它的错误不断增加，因此它在短期评估中看起来最好，但在长时间的评估中却远远落后。差异分析解释了这种顺序，并且我们记录了悄悄消除好处的实施陷阱。