TEMPER：用于表达残差路由的张量化高效流形约束参数化

残差连接依赖于静态残差路径，对于训练深度神经网络至关重要。超连接（HC）通过合并多个残差流和学习动态信息流来提高残差路由的表现力，而流形约束（mHC）变体通过双随机残差混合来稳定训练。然而，现有方法仍然存在生成器级瓶颈：它们使用密集的非结构化生成器进行分支前聚合、残差混合和分支后重新分配，这导致参数计数随着流数量的增加而快速增长。为了解决这个问题，我们提出了对 \underline{\textbf{E}}xpressive Residual \underline{\textbf{R}}outing (\textbf{TEMPER}) 进行 \underline{\textbf{T}}ensorized \underline{\textbf{E}}fficient \underline{\textbf{M}}anifold-constrained \underline{\textbf{P}}参数化，它代表了这些生成器作为输入流、特征和输出流模式上的多路张量，并使用张量网络对它们进行参数化。这种结构化的低秩公式被证明可以保留依赖于词元的流形约束路由接口，同时大大减少参数增长。它还提高了可解释性和直觉，因为：i）张量秩控制学习的路由子空间的维数，满秩恢复密集路由； ii) 生成器近似误差限制了路由 logits 中的差异，从而限制了路由块输出中的差异。综合实验表明，TEMPER 在语言建模和常识推理任务中匹配或优于现有方法，同时需要的额外参数大大减少。在 8 个残余流中，TEMPER 实现了最佳 CORE 分数，同时使用的附加参数比 mHC 少约 $84%$，从而显示出更强的性能参数效率权衡。