更加一致，更少多样性？两代LLM的语法和词汇分析

这项研究有助于将 LLM 生成的文本与人类创作的文本（在本例中为英语新闻文本）进行比较。我们特别关注通过形式语法框架评估句法属性。我们的分析在两个不同年份的两个人类撰写的英语新闻数据集的背景下比较了两代 LLM。我们采用头部驱动短语结构语法（HPSG）形式主义，研究人工智能生成文本的句法结构和词汇类型的分布，并将它们与人类撰写的《纽约时报》（NYT）文章中的相应分布进行对比。我们使用生态学和信息论的多样性度量来量化语法结构和词汇类型的变化。我们表明，英语新闻文本在给定时间范围内几乎没有变化，而与较旧的非指令调整模型相比，较新的 LLM 显示减少了句法多样性，尤其是词汇多样性。这些发现指出了未来研究指令调整效果的工作，在增强连贯性和对提示的坚持的同时，可能会缩小模型输出的表达范围。