分叉花园提示：用户如何在故事生成中探索叙事空间

大型语言模型 (LLM) 改变了人们参与故事的方式。根据公共聊天机器人日志，我们可以看到，当用户生成故事时，他们会迭代编辑提示以探索叙事可能性、调整角色、重定向情节和交换虚构宇宙。作为聚合数据，这些提示代表了大规模创意偏好的丰富痕迹。然而，故事生成评估基准依赖于静态的一次性提示，无法捕捉这种探索行为。在这项工作中，我们研究了用户如何在野外修改连续的故事提示。使用自然发生的用户聊天机器人对话的数据集，我们构建了 WildStories，这是 275,635 个故事生成提示的样本（标有故事格式、提示组件和明确性），以及 WildEdits，这是 24,291 个编辑树的集合，用于模拟用户如何迭代编辑基本故事提示并探索分支故事的可能性。从这些树中，我们开发了一个跨越四个方向（添加、删除、更改和扩展）和十四个目标（例如情节、角色、流派）的编辑类型框架。然后，我们使用我们的数据集和这个框架通过大语言模型来分析用户在叙事空间中的行为。最后，我们展示了如何使用基于框架的自动排列来进行故事生成基准测试。内容警告：本文适用于“野生”聊天机器人日志，其中通常包含有毒和露骨的色情主题。