论文
场景:在群聊中识别社会规范和制裁
SCENE: Recognizing Social Norms and Sanctioning in Group Chats
摘要
在线群聊是具有隐含行为模式的社交空间,一旦被打破,通常会受到群体的社会制裁。基于 LLM 的智能体识别和适应这些规范的能力和意愿仍未得到探索。我们引入了 SCENE,这是一个社交互动基准,专注于多方聊天中的隐性规范和社会制裁。 SCENE 生成合理的非角色扮演场景,其中包含遵循隐藏规范的脚本角色,为主体代理创造违反规范的机会,并在违规行为发生时对其进行制裁。我们进一步提出了两种功能适应能力的行为评估指标:对负面制裁的响应性和适应同伴行为规范。我们在 SCENE 上评估了六个前沿和开放权重模型。我们的结果表明,Claude Opus 4.7 和 Gemini 3.1 Pro 比评估的开放权重模型更能适应隐含规范。 SCENE 在最近呼吁对 LLM 社交能力进行动态、交互评估的方向上贡献了一项基准。