检测路由翻转易,判断是否该修复难:量化混合专家模型中的因果路由介导损伤
Detecting a Route Flip Is Easier Than Knowing Whether to Fix It: Causal Route-Mediated Damage in Quantized Mixture-of-Experts
摘要
Top-k混合专家(MoE)路由是不连续的,因此一个由部署动机驱动的数值扰动——被受保护的BF16门控读取的模拟4-bit KV cache量化——会把token推过决策边界,翻转哪些专家被激活。本文不提出新的缓解方法;它提供的是一套因果分析装置、实证发现和一个检测极限结果。一个四次运行的实验装置测度量化损伤中的路由介导占比(RMF),token级归因将其按机制分解,预注册的探针把发现带到三种架构上。在OLMoE-1B-7B的4-bit KV(试点)上,约三分之一的损伤由路由介导:RMF ≈ 0.31(发现值0.31 [0.20, 0.41];过程重复均值0.313 ± 0.020;预注册重执行0.231)。可部署的路由边际(router margin)能检测到翻转已发生(AUC 0.772),却无法区分有害翻转与有益翻转(处于随机水平):在我们测试的局部、推理可观测的路由统计量中,未发现任何能在随机水平之上预测翻转损失符号的预测因子——一道经验性的收益检测壁垒,为局限于这一特征族的选择性修复划定了边界。带符号翻转代价(signed-flip tax)与符号不可分离性可跨模型成立;干净参照补救措施的收益受架构调制;一个受控的同检查点标志交换实验将门控归一化约定重新定位为损伤幅度的调节因子,而非路由可恢复性机制。一个真实的int4 KV核给出的占比与伪量化剂量曲线兼容,但统计功效不足(95% CI [-0.111, 0.394]包含零)——排除了严重不符,但不构成独立重复。假设、阈值与评估在测量前均已预注册,并报告了未命中项;一项预注册的留出读取在样本外复现了该划分与近抵消的代价,而严格的不可能性排除以毫厘之差未获支持。
