论文

“我理解你的观点”:LLM 通过交往行为理论的视角进行说服

"I understand your perspective": LLM Persuasion through the Lens of Communicative Action Theory

模型评测模型行为与机制分析

摘要

大语言模型 (LLM) 可以产生高质量的论点,但它们参与细致入微和有说服力的交流行动的能力在很大程度上仍未被探索。这项工作通过尤尔根·哈贝马斯的交往行动理论框架探索了 LLM 的说服潜力。它检查 LLM 是否以与人类交流类似的方式表达言外意图(即语言的实用功能,例如传达知识、建立信任或发出相似性信号)。我们使用有说服力的 Reddit 子版 ChangeMyView 中的对话来模拟意见持有者和 LLM 之间的在线讨论。然后,我们比较人类撰写的反驳和 LLM 生成的反驳中的言外意图的可能性,特别是那些成功改变原始发帖者观点的反驳。我们发现所有三个 LLM 都有效地传达了言外意图——通常比人类更有效——可能会增加他们的拟人化。此外,LLM 会精心策划与意见持有者的意图密切相关的阿谀奉承的回应,这是一种与意见变化密切相关的策略。最后,众包工作人员发现 LLM 生成的反论点更令人愉快,并且始终比人类编写的反论点更喜欢它们。这些发现表明,LLM 的说服力不仅仅是产生高质量的论据。相反,根据人类偏好训练 LLM 可以有效地调整它们以反映人类的沟通模式,特别是微妙的沟通行为,从而可能增加个人对其影响的敏感性。