论文

由语言模型生成的小说显示出压缩的形式变异

Novels generated by language models show compressed formal variation

模型评测模型行为与机制分析

摘要

虽然 大语言模型 可以生成整部小说,但关于其输出在许多代中的形式变化程度的信息很少。这项研究不是询问单个段落是否可以被识别为人工智能生成的,而是询问重复的人工智能生成是否可以产生与人类语料库中发现的相同范围的多样性。本文根据生成源和目标风格对比了六个语料库:使用 GPT-5.5 Thinking 生成的 19 世纪英国现实主义风格小说 20 部,使用 Qwen3-14B 生成的 19 世纪英国现实主义风格小说 20 部,使用这些模型生成的 20 部当代零风格小说,205 部 19 世纪人类书写的英国小说,以及 65 部当代人类书写的零风格小说。在文档层面,研究包括 MATTR-500、香农熵、平均句子长度、可读性和标点符号率测量。最稳健和可靠的结果是句子结构的压缩。代代相传所创作的小说在句子结构上的差异远小于人类小说。压缩也存在于小说的可读性、标点符号和句子长度可变性的衡量标准中。除了 Qwen 零式 MATTR 之外,词汇量度也倾向于类似地压缩。尽管 GPT 和 Qwen 具有不同的平均风格特征,但缺乏稳定的跨测量相关性模式。因此,本文区分了方差过度封闭(代表小说之间有限的形式范围)和更具体的相关过度封闭现象。这意味着人工智能生成的单个小说在风格上可能类似于人类小说,而人工智能生成的小说集占据的形式范围要窄得多。