ArcANE：角色扮演语言代理能否在正确的时间保持角色？

角色扮演语言代理 (RPLA) 可以模拟娱乐、陪伴、交互式故事讲述和教育等应用中的特定角色和人物角色。忠实的角色扮演需要的不仅仅是产生合理的、角色内的反应：随着角色的价值观和行为在叙述中发生变化，RPLA 应该反映角色在相关阶段的状态。然而，现有的基准在很大程度上将角色视为固定的人物角色，或者仅测试他们在叙述中的给定点所知道的内容。我们引入 ArcANE（Arc-Aware 叙事评估），这是一个评估 RPLA 是否在整个叙事中遵循角色发展的基准。 ArcANE 首先构建一个 Arc，映射角色的价值观、动机或关系在故事中如何变化。然后，该基准对 RPLA 的响应与 Arc 相应阶段的契合程度进行评分，涵盖三种不同的场景类型：小说中的场景、其世界内的新情况以及该世界之外的情况。我们根据提供叙事背景的六种方式评估了六种模型。在每个模型中，使用 Arc 直到查询的章节都会产生最佳性能，比最强的非 Arc 上下文高 2.2-8.4 分。这些结果表明，忠实的角色扮演需要不断发展的角色状态并跟踪他们的轨迹，而不仅仅是检索相关的情节证据。