人类和 LLM 写作中跨流派、模型和解码策略的可解释的文体变化

大语言模型 (LLM) 现在能够生成高度流畅、类似人类的文本。它们支持许多应用程序，但也引发了大规模垃圾邮件、网络钓鱼或学术滥用等问题。虽然很多工作都集中在检测 LLM 生成的文本上，但只有有限的工作致力于理解人类编写的文本和机器生成的文本之间的风格差异。在这项工作中，我们使用 Douglas Biber 的词汇语法和功能特征集，对人类书写的文本和 11 个 LLM 的输出进行了大规模分析，涵盖 8 种不同的流派和 4 种解码策略。我们的研究结果揭示了可以指导有意使用 LLM 的见解。首先，LLM 生成的文本的关键语言差异似乎对生成条件具有鲁棒性（例如，提示设置可以推动它们生成类似人类的文本，或者可以使用人类编写的文本来延续这种风格）；其次，流派对文体特征的影响比来源本身更大；第三，模型的聊天变体通常在风格空间中聚集在一起，最后，模型对风格的影响比解码策略更大，但有一些例外。这些结果强调了模型和体裁相对于提示和解码策略在塑造机器生成文本的文体行为方面的相对重要性。