评估 LLM 驱动的社交代理的现实性：对西班牙在线新闻反应的案例研究

LLM 驱动的社交代理越来越多地用于模拟在线社交行为，但其真实性仍然难以验证。现有的工作在很大程度上依赖于通用基准，而较少关注简短的反应性话语，例如观众对在线新闻的回复。在本文中，我们评估 LLM 生成的对西班牙在线新闻的反应是否再现了真实受众话语的可测量属性。使用 Hatemedia 数据集，我们将 5,631 条新闻与 58,555 个真实观众反应配对，并在共享实验设置下使用五个 LLM 生成匹配的合成数据集。我们在三个维度上比较真实和综合的反应：仇恨言论、情绪和语义对齐，同时考虑现成的和微调的生成。结果表明，现成的模型并不能很好地代表真实受众的反应：它们极少产生仇恨言论，引入了特定于模型的情绪偏差，并且与人类的回复在分布上仍然存在距离。 微调 保真度的提高不均匀。 Qwen3 提供了最平衡的近似值，而 Mistral7B 实现了最强烈的情感和语义对齐，但超过了仇恨流行率。看似合理的综合答复并不一定能再现公共话语的分布特性。