论文
少思考反而更像用户:直觉提示改善社交反应模拟
Thinking Less to Simulate Better: Intuitive Prompting Improves LLM Agents Simulating Individual Social Media Reactions, Including Unfamiliar Content
摘要
平台政策越来越多地在人工用户身上进行测试,这使得智能体对真人行为的保真度变得非常重要。然而,令人信服的虚假个人资料也可能在选举前操纵公众舆论。验证集中于与人类行为的一致性,而很少关注代理的行为是否符合其给出的配置文件。本研究通过问卷、深度访谈和书面自我介绍对八名塞尔维亚参与者进行了描述,记录了他们对 68 个社交媒体帖子的反应,并要求四种语言模型在五种不同的个人资料内容和教学风格的提示条件下预测这些反应。相比人口属性背景描述,态度信息显著改善预测。智能体与他们所陈述的个人资料的匹配程度比参与者与他们自己的调查答案的匹配程度更高,而且一旦个人资料信息出现,一致性就与保真度无关。指示模型直观、立即做出反应,而不是分析性地做出反应,可以在任何条件下提供最高的保真度,并将个体差异的压缩从人类水平的七倍减少到三倍。在有关调查问卷从未提出过的主题的帖子上,这种优势仍然存在,其中该条件达到了任何设置中的最高保真度,并大大超过了人群基线,这表明以这种方式提示的代理可以充当通用模拟用户,而不是他们所分析的主题的专家。结果可能会对语言模型的开发产生影响,因为基于直觉的设置似乎比基于推理的设置更适合某些任务。