论文

LLM在社会议题上仅能说服心理易感人群:经由对AI的信任与情感诉求,且伴随逻辑谬误

LLMs can persuade only psychologically susceptible humans on societal issues, via trust in AI and emotional appeals, amid logical fallacies

模型评测安全与风险评测

摘要

沿时间演化的心理框架检验LLM说服力与类人性的纵向证据十分稀缺。我们提出Talk2AI,一个纵向框架,量化LLM在极化社会议题上说服力的心理社会、推理与情感维度。在四路纵向设计中,Talk2AI的770名参与者与四个领先LLM之一就气候变化、社交媒体错误信息、数学焦虑等话题进行结构化对话。由此产生3,080段对话、逾60,000轮。每一波结束后,参与者报告其对初始议题立场的信念程度、感知到的观点改变、感知的LLM类人性、对议题的自我捐赠及文字解释。反馈时间序列显示信念存在纵向惯性,表明即使反复接触AI生成的论点,人仍对初始观点有一定锚定。有趣的是,NLP分析显示人类与LLM每6句对话妙语中就有1句依赖谬误推理,反驳了LLM认知让步背后“LLM是更优系统”的刻板印象。感知的LLM类人性最能从社会人口学、心理与参与特征中学习预测($R^2=0.44$),其次是观点改变($R^2=0.34$)、信念($R^2=0.26$)和个人出资($R^2=0.24$)。关键的是,可解释AI(XAI)表明:(i)存在对LLM引发的观点改变更易感的个体;(ii)对LLM说服的心理易感性表现为对LLM更信任、更宜人、更外向且认知需求更高。采用混合效应模型的多宇宙分析证实了XAI结果,同时显示强烈的个体差异。Talk2AI为检测生成式AI(GenAI)如何经由多条心理社会路径在人机数字平台上影响人类观点,提供了有实证根基的框架与证据。

LLM在社会议题上仅能说服心理易感人群:经由对AI的信任与情感诉求,且伴随逻辑谬误:论文配图
图1:Talk2AI特性信息图,概览其借助信任与情感诉求开展社会议题说服的核心特征。