论文

ANIMASK:模型本身如何影响模拟故事中的角色扮演

ANIMASK: What the Model Contributes to Role Play in Simulated Story Worlds

模型评测模型行为与机制分析

摘要

语言模型扮演角色时,行为同时反映指定人格和模型自身默认倾向。现有评估分开测试人格忠实性或默认倾向,却不能在某个有后果的选择处说明人格改变了什么、模型保留了什么。我们提出ANIMASK,将书籍和剧本冻结成角色按自身动机行动的故事世界,并从冻结点回放。作者续篇留作人类参考,通过故事内访谈核验人格仍在,每个决策点比较角色动作与移除人格后模型动作。在40个故事、6个扮演模型、3846个决策点中,回放以共同方向偏离原作,形成更平缓、情感更冷、张力未解决的故事。人格始终存在并被遵守。四分之三选择中模型默认行为已在人格可接受范围内;二者分歧时模型更谨慎,在人格会推进之处停留。人格保证角色是谁,模型决定角色走多远。

ANIMASK:模型本身如何影响模拟故事中的角色扮演:论文配图
图1:ANIMASK总览。将故事中途冻结的来源构建为世界,由引擎利用共享角色模型和不同人设运行,其生成文本构成回放。