论文

机器中的 CASPER:深入了解 LLM 生成的故事中的角色多样性

CASPER in the Machine: Insights into Character Variety in LLM-Generated Stories

模型评测模型行为与机制分析

摘要

随着 LLM 生成的文本的使用越来越多,特别是在虚构领域,我们探索 LLM 生成的故事与人类编写的故事有多大不同。在这部作品中,我们重点关注人物。我们借用叙事学的定义来分析人物的八个复杂维度,例如风格化和完整性。这些维度不仅仅考虑基本特征。他们评估故事中人物的刻画方式。在自动推断 LLM 和人类编写的故事中的人物类别后,我们对这两组故事进行比较和对比。我们考虑以下首要问题:(1)LLM 和人类写的故事有相似的人物吗? (2) LLM 是否会生成具有各种角色的故事?我们的分析包括关注流行的 LLM 生成的故事和最近发表的人类撰写的故事的研究问题。我们描述了许多有趣的相似点、差异和关键要点。