全球排名幸存,选定的头部转移:4 位仅权重量化下的 BOS-Sink 拓扑
Global Ranks Survive, Selected Heads Shift: BOS-Sink Topology under 4-bit Weight-Only Quantization
摘要
接收器感知部署可以在模型量化之前识别重要的第一标记注意力头,然后在边缘重用该映射。我们测试此快捷方式对于 4 位 NF4 仅权重训练后量化 (PTQ) 来说何时是安全的。我们的接收器拓扑一致性 (STC) 指标将全局排名保留、top-$k$ 集重叠和分层接收器质量偏移分开,并将每个输入的灵敏度与校准图传输区分开来。在 Qwen2.5-0.5B、Qwen2.5-1.5B 和 Llama-3.2-1B 中,全球 bf16 到 4 位排名仍然很高,为 4,096 个词元 ($\rho_s \geq 0.980$),但 top-$k$ Jaccard 重叠仅为 0.619-0.793,对应于 76.5-88.5% 的成员资格保留。全局统计数据还掩盖了局部故障:终端 Qwen 层的漂移是其模型平均值的 6.2-7.9 倍,而 Llama-3.2-1B 显示出较低且几乎均匀的漂移。在 C4 到 LongBench 的转变下,两个 Qwen 模型的跨域重叠比域内精度比较的降级更多,但 Llama-3.2-1B 则不然。匹配域 4 位重新校准在 Qwen 模型的最小测试 $n=8$ 和 Llama-3.2-1B 的 $n=32$ 下达到分半稳定性平台的 90%,尽管不是一个尖锐的阈值;对于两个 Qwen 模型,仅更新选定的图层并不能达到全图稳定性标准。在 Jetson Orin NX 上,对于具有有效设备上接收器测量的两个模型,16 个样本工作负载需要几秒钟的时间。实际的信息是精确的:全球排名经常转移,但离散头集、层本地策略和跨域校准应在量化后重新验证。