语言模型如何表示和使用语音信息进行异形选择？

语言模型是在标记化文本上进行训练的，这些文本模糊了单词的声音结构，但它们可靠地生成其形式受语音条件限制的语素。目前尚不清楚它们是否依赖于特定项目的记忆或类似规则的概括，以及如果是后者，则如何实现这种概括。因此，我们要问这种语音条件是否在语言模型中得到体现，以及它如何因果地用于异形选择。对于英语不定冠词 a/an，我们表明语音条件在触发标记嵌入中沿着单个线性方向进行编码，该方向因果驱动 词元级 wug 测试中的文章选择，并且在文章预测位置，模型预测即将到来的触发标记并使用预测的触发器的语音特征来选择文章。然后，我们询问这种类似规则的概括是否超出了英语冠词选择的范围，包括其他语言中的异形选择和明确的语音判断。总之，这些结果提供了语言模型中语音条件同质异形选择的机械解释，并将这种生成时间能力与明确的元语言判断分开。