论文
他们走多远了?隐性LLM智能体在Reddit论坛中的说服策略
How Far Did They Go? The Persuasive Tactics of Covert LLM Agents in a Discontinued Field Experiment
摘要
本研究分析了 Reddit 的 r/ChangeMyView 上已停止的现场实验中公开发布的数据集。该干预由未知的外部研究人员进行,并因道德强烈反对而停止,涉及未公开的人工智能生成帐户,让用户参与现场辩论。公开披露后,Reddit 授权版主发布人工智能生成评论的档案,这创造了一个难得的机会,可以在不披露的情况下检查大型语言模型如何在身份丰富的协商论坛中运作。我们对该语料库进行结构化内容分析,评估身份表现、权威信号、对齐策略和认知启发法的激活。身份定位或采用出现在超过三分之二的评论中,几乎所有评论中都出现了结盟行动和权威主张,而认知偏差触发因素——尤其是确认偏差、代表性和可用性——占绝大多数。这些模式系统地同时出现,构成了一种修辞架构,旨在提高说服效率,而不是真正的协商参与。与人类撰写的 CMV 反论点相比,代理人在每个维度上都颠倒了典型分布:更密集的权威使用、更多的对抗性联盟以及更依赖外部引用而不是经验基础。在这样的环境中,真实认知地位和综合认知地位之间的区别变得越来越不透明——这种不对称性仅靠披露要求无法解决。结果表明,审计框架能够评估人工智能系统如何构建可信度,而不仅仅是评估它们是否存在。