FiLM 协调的双分支 Transformer 用于语言建模中的全局-局部依赖关系建模

标准 Transformer 使用单一的自注意力路径来建模全局依赖性和局部模式，从而在远程结构推理和细粒度局部表示学习之间产生张力。我们提出了一种 FiLM 协调的双分支 Transformer 用于语言建模，其中每一层明确包含一个全局分支和一个局部分支，并且特征线性调制（FiLM）用于动态跨分支协调，而不是简单的串联或静态加法。关键思想是两个分支代表同一输入的不同依赖视图，使得通道校准比繁重的 词元级 交互更合适。因此，我们设计了一个双向 FiLM 模块，其中每个分支生成每个通道的缩放和移位参数以调节另一个分支。对多个小规模语言建模设置的实验表明，所提出的结构在固定轻量级配置下始终优于同宽单分支基线和弱化双分支变体。在 TinyShakespeare 和 WikiText-2 的 1M 字符子集上，完整的双分支 FiLM 模型在同宽结构基线中取得了最佳结果。多种子结果支持增益的稳定性，而机制分析表明 FiLM 学习依赖于输入、依赖于层和通道选择性的调制模式，而不是静态缩放。参数匹配加宽的单分支基线也表明当前设计在参数效率方面仍有改进的空间。