LLM 中用于扩展计算和容量的双路径架构

循环 Transformer 多次应用共享块，并已成为在语言模型中扩展计算的参数有效途径。然而，在固定的 FLOP 下，循环模型的容量严格小于基线 Transformer。我们提出了一种新颖的双路径块，它可以灵活地扩展计算、应用于隐藏状态的顺序操作的数量以及容量、单个步骤中可用的参数。为此，我们将两个轴暴露为单层内的并行路径：深度子层使用共享参数重新应用 K 次，而宽子层则应用一次放大的前馈网络。独立的每个词元门结合了两个轴，并允许详细的每个词元路由分析。我们表明，在两个 FLOP 预算中，我们的双路径模型在语言建模和下游评估方面优于 iso-FLOP 匹配模型，同时在匹配 FLOP 时使用的参数比基线更少。学习的门是可直接解释的，并显示系统的每个标记分配，其中功能词和词汇内容趋势较宽，而标点符号、符号和算术标记趋势较深。