论文

BIASEDTALES-ML:用于分析 LLM 生成的故事中的叙述属性分布的多语言数据集

BIASEDTALES-ML: A Multilingual Dataset for Analyzing Narrative Attribute Distributions in LLM-Generated Stories

模型评测基准与评测资源

摘要

大语言模型 (LLM) 越来越多地用于生成叙事内容,包括儿童故事,这在社会和文化学习中发挥着重要作用。尽管人们对人工智能安全和一致性的兴趣日益浓厚,但大多数现有评估主要集中在英语上,从而导致一致性行为的跨语言泛化尚未得到充分探索。在这项工作中,我们介绍了 BiasedTales-ML,这是一个大型平行语料库,包含约 350,000 个儿童故事,使用全排列提示设计生成,涵盖八种类型和文化不同的语言。我们提出了一个结构化的生成器-提取器管道和一个多维分布分析框架,以检查叙事属性如何随着语言、模型和社会条件的变化而变化。我们的分析揭示了叙事生成模式存在显着的跨语言变异,这表明在英语中观察到的分布并不总是在其他语言中表现出类似的特征,特别是在资源匮乏的环境中。在叙事层面,我们识别出涉及人物角色、背景和主题重点的反复出现的结构模式,这些模式在不同的语言环境中表现不同。这些发现凸显了以英语为中心的评估在描述多语言环境中基于社会的叙事生成的局限性。我们发布数据集、代码和交互式可视化工具,以支持未来多语言叙事分析和评估的研究。