论文

叙事景观:绘制 LLM 的叙事倾向

Narrative Landscape: Mapping Narrative Dispositions Across LLMs

模型评测模型能力评测

摘要

本研究提出了一个定量框架,用于将 LLM 处置分析为重复、受控诱导下稳定的、模型特定的输出规律。使用跨六个前沿模型和三种指令类型管理的结构化叙述约束选择任务,我们通过两个维度来操作处置:“一致性”,通过杰卡德相似性衡量交叉复制选择重叠,以及“多样性”,通过逆辛普森指数衡量选项之间的分散性。我们进一步介绍了 Narrative Landscape,这是一种基于 PCA 的可视化,它将每个模型的选择配置文件映射到共享空间以进行直接比较。结果揭示了跨模型系列的清晰刚性探索谱,并表明即使标量指标看起来相似,指令类型也会改变选择空间的几何形状,这表明可比较的分数可以掩盖定性上不同的选择拓扑。