论文

SODE:分析 LLM 代理中的社会动态

SODE: Analyzing Social Dynamics in LLM Agents

智能体系统Agent任务评测

摘要

随着 大语言模型 (LLM) 演变成交互式代理,了解它们在人类社会动态中的行为一致性变得至关重要。虽然行为博弈论提供了研究这些相互作用的框架,但以前的工作主要依赖于基于结果的指标,例如平均分数。这种关注忽视了促进可持续合作的机制,因为截然不同的策略可能得出相同的分数。为了弥补这一差距,我们引入了 SODE(社会动态评估),这是一个跨三个进化维度评估 LLM 代理的框架:策略适应的直接互惠、声誉敏感性的间接互惠和合作弹性的群体动力学。应用 SODE 揭示了系统性差异:指令调整模型通常表现出“被动服从”,这使得它们容易受到利用,而推理模型优先考虑短期优化,从而破坏长期合作的稳定性。值得注意的是,我们证明“长视野框架”可以释放推理模型中的互惠能力。因此,SODE 提供了一个系统的、基于机制的基准,用于将人工智能代理与复杂的人类社会动态相结合。