论文
通过反应语气对社区态度进行建模：用于评估 LLM 与在线社区语言行为一致性的人机协作框架
Modeling Community Attitude through Reaction Tone: A Human-AI Collaborative Framework for Evaluating LLM Alignment with Linguistic Behaviors in Online Communities
摘要
大语言模型 (LLM) 越来越多地用作计算社会分析的代理；然而，它们忠实地代表人类社区“厚重描述”（Geertz，1973）的能力仍然是一个严峻的挑战。当前的评估常常将社会身份简化为静态标签，忽视了现实世界群体如何驾驭社会转变。为了弥补这一差距，我们引入了 CARE（社区感知反应评估），这是一个以反应为中心的框架，它将 LLM 模拟的话语与不同社区对现实世界新闻的真实的、事件相关的反应进行基准测试。通过描述一系列细粒度的言外语气及其所表现出的潜在态度（通过人类与人工智能的协作进行验证），我们的诊断揭示了持续存在的“现实差距”：使用明确的社区提示来引导 LLM 无法从本质上提高模拟保真度。分析进一步确定了前沿模型之间不同的行为特征，表明当前的对齐策略仍然不足以捕捉在线群体的社会语言动态。