论文
修改上下文,改变模拟立场:在线讨论中审核基于 LLM 的立场模拟
Revising Context, Shifting Simulated Stance: Auditing LLM-Based Stance Simulation in Online Discussions
摘要
大语言模型 越来越多地用于模拟社交媒体用户并推断个人如何响应在线讨论。然而,目前尚不清楚这些模拟是否准确地反映了用户特定的信念,或者它们是否对会话上下文中语义独立的变化高度敏感。在这项工作中,我们研究反事实上下文修正作为审计基于 LLM 的立场模拟的框架。给定原始在线对话,我们首先推断目标用户对特定主题的立场。然后,我们将受控修改策略应用于会话上下文,并在修改后的上下文下再次模拟用户的立场。我们将纯文本修订策略与包含基于模因的上下文的多模式修订策略进行比较,并评估两个主要有效性指标,即平均方向立场转变和立场转变率。结果揭示了跨不同极化偏好机制的纯文本策略和多模式策略中有效且稳健的立场转变。我们的研究提供了一个评估框架,用于理解基于 LLM 的姿态模拟的上下文敏感性(https://github.com/STARResearchLab/StanceShift)。更广泛地说,它强调了在社交模拟中使用 LLM 作为社交媒体用户的代理的前景和风险。