语言模型中语义角色理解的涌现

了解语言结构如何在语言模型中出现对于解释这些系统从数据中学习什么以及它们真正需要多少监督至关重要。特别是，语义角色理解（“谁对谁做了什么”）是意义表示的核心组成部分，但目前尚不清楚它是单独来自预训练还是取决于特定于任务的微调。我们研究语义角色理解是否在语言模型预训练期间出现或需要针对特定​​任务的微调。我们冻结仅解码器的变压器并训练线性探针来提取语义角色，使用性能来推断角色信息是否已经在预训练中编码或在适应过程中学习。在模型尺度上，我们发现冻结表示包含大量语义角色信息，性能有所提高，但与微调模型不完全匹配。这表明仅从预训练中部分但不完全地出现。我们表明，语义角色结构是从语言建模目标中产生的，但随着模型规模的增加，其内部实现转向更加分布式的表示。