GiLT：使用依赖图增强 Transformer 语言模型

用语言结构增强Transformer有效增强了语言模型的句法泛化性能。以前这个方向的工作主要集中在语言的句法树结构，特别是选区树结构。我们提出了图注入层 Transformer 语言模型（GiLT），它利用依赖图来增强 Transformer 语言模型。与之前的大多数工作不同，GiLT 不会在语言建模中插入额外的结构标记；相反，它通过使用从与标记预测一起增量构建的依赖图中提取的特征来调节 Transformer 中的注意力权重，从而将结构信息注入到语言建模中。在我们的实验中，与 Transformer 语言模型基线相比，具有语义依赖图的 GiLT 实现了更好的句法泛化，同时保持了竞争性的困惑度。此外，GiLT 可以通过预训练语言模型进行微调，以提高下游任务性能。我们的代码发布于 https://github.com/cookie-pie-oops/GiLT-LM。