紧凑的语言，复杂的模型转变：歧义和不明确如何以及在何处影响大语言模型

我们分析词汇歧义和不规范如何影响语言模型训练。我们创建人工同音异义词和人工上位词作为伪词，并分析语言模型的生成性能，因为它们接受越来越多的这些模糊或未指定的伪词类型的训练。我们进一步分析模型是否消除了歧义或未明确的陈述，并提供了关于如何在内部表示歧义和消除歧义的第一个机械解释。我们的主要结果表明，歧义和不规范都可以提高模型性能，其方式与它们对语言类型标记比的影响成正比。然而，与其他文本相比，生成包含歧义词或其同义词的序列的准确性会降低。我们还表明，伪词的内部表示反映了伪同音异义词的歧义消除，但在生成过程中仍保留了伪上位词的不明确性。