分析超连接中的流崩溃：从诊断到缓解

超连接 (HC) 用多个流替换单个 Transformer 残余流，从而引入流索引上的排列对称性。我们研究如何在实践中解决这种对称性：流是否以平衡方式专门化或表现出主导流使用。使用基于 HC 的语言模型的细粒度诊断，我们跟踪多流表示的实际使用方式。我们发现，在早期播种阶段之后，残余混合通常保持接近同一性，从而限制了在流之间交换信息的核心 HC 机制。此外，信号和可解释特征都集中在主导流中，名义上的多流残余连接可能未充分利用其容量，表现得更接近单流残余路径。最后，我们表明在流初始化时打破对称性会减少主导行为并提高 \textit{m}HC 变体的性能。我们的代码是公开的。