生产中的启动模式：语言模型生成中的词汇、语义和结构对齐

本文研究了语言模型（LM）生成中的结构启动，研究了前面的结构上下文如何影响句子完成。虽然之前的工作已经证明了理解结构交替的启动效应，但仍不清楚这些结构交替是否会在生产中持续存在，在生成时，LM 会从每个步骤的许多可能的延续中采样。我们通过一系列与格结构的受控句子完成实验来解决这个问题。与之前的工作一致，我们发现语言模型很容易受到结构启动的影响，特别是在语义连贯的句子中。就启动幅度而言，我们发现，虽然双宾语与格相对于我们的基线有更大的相对增加，与反频率效应一致，但介词宾语的绝对增加更大，即更频繁地产生结构。最后，我们不仅观察到结构启动是由词汇语义连贯性促进的，而且结构启动完成显示出更高水平的词汇语义重复。总而言之，我们的证据支持这样的观点，即语言模型中的结构启动在语言表征的多个层面上发挥作用，并通过句法、词汇和语义对齐来促进和促进。代码：https://github.com/the-context-lab/primedProduction。