POSPAN：用于语言模型预训练的位置约束跨度掩蔽

跨度级掩码语言建模 (MLM) 已证明比原始单标记 MLM 更有利于预训练语言模型，因为实体/短语及其依赖关系对于语言理解至关重要。以前的工作仅考虑具有一些离散分布的跨度长度，而忽略了跨度之间的依赖性，即假设屏蔽跨度的位置是均匀分布的。在本文中，我们提出了 POSPAN，这是一个通用框架，通过跨度长度分布和位置约束分布的组合来允许多种位置约束跨度掩蔽策略，它统一了所有现有的跨度级掩蔽方法。为了验证 POSPAN 在预训练中的有效性，我们在多个 NLU 基准的数据集上对其进行了评估。实验结果表明，位置约束能够广泛增强跨度级掩蔽，并且我们的最佳 POSPAN 设置始终优于其仅跨度长度对应项和普通 MLM。我们还对掩码语言模型中的位置约束进行了理论分析，以阐明 POSPAN 效果良好的原因，论证了 POSPAN 的合理性和必要性。