mHC 如何使用其剩余流？选择性路由和近身份混合

超连接及其受流形约束的变体 mHC 将残差路径从一个流拓宽到 n 个流，但经过训练的模型如何使用这种能力仍不清楚：如何广泛地阻止读取和写入、残差路径混合流的强度以及流是否携带不同的表示。我们使用有效流计数、跨流残差权重和流间余弦相似度检查 DeepSeek-V4-Flash 的四流残差路径中的这些属性。读/写路由是集中的，但随着深度的变化而变化：典型的注意力或 FFN 站点有效地使用大约两个流，而主导流在各层之间发生变化，并且表示在方向上保持不同。残余混合程度较低，主要发生在早期层；在第 22-42 层中，该路径主要将每个流分别向前传送。有针对性的干预措施确定了这些模式的功能意义。通过身份替换后期混合器仅使 C4 困惑度增加 1.9%，并保留六项任务的平均得分，而替换早期混合器则使困惑度增加 41%。将每个早期混合器固定为其 C4 诊断平均值仅增加了 0.2% 的困惑度，并将平均得分降低了 0.25 个百分点，这表明其特定于站点的结构比其在评估指标上的标记式变化更重要。同样，在每个站点保留每个词元的三个最大路由权重最多会增加 2.7% 的复杂性，并最多改变 0.4 分的平均分数。因此，所研究的模型仅实现了四流 mHC 所提供的部分灵活性：单个块很少需要所有四个流，并且后期残余混合几乎没有提供可测量的好处。