LLM 代理可以预测社交媒体反应，但表现不优于文本分类器：使用 1511 个人的 12 万多个角色对模拟准确性进行基准测试

社交媒体平台调解数十亿人如何形成观点并参与公共话语。随着自主人工智能代理越来越多地参与这些领域，了解他们的行为忠诚度对于平台治理和民主弹性变得至关重要。之前的工作表明，LLM 支持的代理可以复制总体调查响应，但很少有研究测试代理是否可以预测特定个人对特定内容的反应。这项研究对基于 LLM 的代理在预测人类社交媒体反应（喜欢、不喜欢、评论、分享、无反应）方面的准确性进行了基准测试，这些组合来自 1,511 名塞尔维亚参与者和 27 个 大语言模型，超过 120,000 个独特的代理角色组合。在研究 1 中，代理的总体准确率达到了 70.7%，而选择 LLM 则产生了 13 个百分点的性能差异。研究 2 采用了带有机会校正指标的二元强制选择（喜欢/不喜欢）评估。代理的马修斯相关系数 (MCC) 达到 0.29，表明真实的预测信号超出了偶然性。然而，使用 TF-IDF 表示的传统基于文本的监督分类器优于 LLM 代理（MCC 为 0.36），这表明预测增益反映了语义访问而不是独特的代理推理。零样本角色提示代理的真正预测有效性通过在社交媒体上轻松部署大量行为不同的人工智能代理来警告潜在的操纵行为，同时提供在模拟中使用此类代理来预测极化动态和告知人工智能政策的机会。使用零样本代理的优点是它们不需要特定于任务的训练，使得它们可以在不同的环境中轻松进行大规模部署。局限性包括单一国家抽样。未来的研究应该探索多语言测试和 微调 方法。