类型多样性如何改善Transformer的组合泛化

组合泛化通常分为词汇泛化与结构泛化。既有研究发现，Transformer的结构泛化比词汇泛化更困难。本文提出，这种差异不一定源于Transformer本身，而可能来自相关数据集词汇类型多样性较高、结构类型多样性较低。这里的类型多样性指某类结构不同构造项的数量，而非填充该结构的具体词语组合。研究改变已发布数据集中词汇和结构类型的多样性，并用Grammatical Framework构建语言形式更丰富的COGS与SLOG变体。结果显示，类型多样性与词汇、结构测试中的组合泛化同样相关，支持上述假设。研究还发现，这与此前用复合分布差异解释组合泛化难度的观点存在矛盾，并进一步检查其他数据属性的影响，包括新测试结构之外其他类型的多样性，以及逻辑语义表达格式的表面属性。