模型融合和人类分歧的地方：开放式一代中分配多元主义的覆盖框架

当 大语言模型 (LLM) 撰写哈利·波特同人小说时，它会可靠地生成霍格沃茨宇宙的基本元素，例如可识别的地点和人物。然而，人类撰写的哈利·波特同人小说通常包含这些基本原理以及更多内容，包含风格上不规则的内容和关系多样的情节主线。 LLM 和人类书写之间的这种差距已在各个领域引起注意。 LLM 倾向于产生“平均”写作，而人类写作包含更多样化的内容，涵盖更广泛的分布。现有的工作已经表明了这种分配“差距”的存在，但没有任何工作提出一种系统的方法来衡量它。我们的论文提出了一个以人为本的框架，该框架使用人类在某个主题上写作的经验分布来衡量 LLM 生成的同一主题内容的分布宽度。我们提出了两个指标：LLM 覆盖率 (LLM-Cov) 和边界内率 (IBR)，将 LLM 内容的合理性与其分布广度分开。在构思和叙事任务中，我们发现当前的 LLM 产生看似合理但狭窄的内容，集中在人类反应空间的中心附近。我们的框架可以使研究人员更好地评估 LLM 创作内容的分布广度，我们将其称为“文化影响力”。