通过 Transformer 模型中的词汇抽象进行泛化：功能词的情况

当代词、副词和其他功能词（例如他们、她、某处、那里）的属性（例如性别、语法编号）为给定上下文提供足够的信息时，它们经常在语言中用来替换具体的名词或短语。预训练的 Transformer 模型是否以允许它们像人类一样使用的方式对这些功能词进行编码？语言模型能否识别依赖于这种词汇抽象的句子（例如“研究人员写了论文”和“他们写了它”）的句法和语义并行性？我们将这些语言问题映射到预训练 Transformer 模型的嵌入空间中，并将名词的表示与可以替换这些名词的代词和副词的表示进行比较，独立且并行地词汇化和功能性句子。然后，我们探讨并行词汇化和功能句子的嵌入中共享的句法和语义结构。我们发现功能词与名词相比位于中心位置，但也有区别，这与它们在各种上下文中作为占位符的行为一致。对平行（词汇化和功能）句子嵌入的分析表明它们位于嵌入空间的不同子空间中。提取句子结构信息的实验表明，对任何类型的数据进行训练都不会揭示共享结构 - 因为词汇过度一致性（在功能数据的情况下），以及太多的多样性（在词汇化版本的情况下）。然而，通过混合使用功能性句子和词汇化句子进行训练，出现了共享结构。