论文
EASE 配置促进 LLM 社交模拟的可重复科学
EASE Configuration Facilitates A Reproducible Science of LLM Social Simulations
摘要
LLM 越来越多地被部署来模拟社交互动，但许多现有的模拟器仍然是临时的和单一的。架构标准化的缺乏阻碍了可重复的研究并使下游评估变得复杂。我们通过将核心组件模块化为环境、代理、模拟引擎和评估指标 (EASE)，推进基于 LLM 的多代理模拟的严格科学。我们通过将 EASE 配置包装在实验研究模式中来展示 EASE 配置的实用性，该模式用于编排以回答生成场景中的明确研究问题为中心的工作流程。我们贡献了 SiliSocS，这是一个开源的、可用于研究的 Silicon Society 沙箱，它实现了研究结构的 EASE 配置，以实现高度可配置和可重复的基于 LLM 的社交模拟。使用 SiliSocS 和 EASE，我们提出了三个案例研究，分别展示了系统对现有问题的综合评估、深入研究复杂问题的能力以及对现有研究的阐述。这些案例研究共同强调了当前建模方法的局限性，并隔离了设计选择对关键结果的影响。