埃利亚斯再次出现在灯塔里？诊断 LLM 故事中的低多样性

LLM 生成的故事是一种流行的用例，但它们的可变性非常低。我们使用五个提示从四个当前模型中抽取了总共 20,000 个故事。我们发现 88.3% 的生成故事中出现了 11 个单词，模型之间差异不大。这些词包括姓名（Elias、Mara、Elara）、背景（灯塔）和职业（钟表匠、图书管理员）。这些标记并不经常出现在已发表的文献或 预训练 数据中，但它们出现在可能已被所有当前模型使用的偏好数据中。令人惊讶的是，与普通的 后训练 故事相比，这些“灯塔”故事并不常见，其中大部分包含对受版权保护的角色或成人内容的引用。这一结果表明，小数据集与强大的对齐算法相结合可能会产生不成比例的影响。