论文
合成数据中是否存在社交模式?分析大语言模型生成的真实对话中的网络欺凌动态
Do Social Patterns Hold in Synthetic Data? Analyzing Cyberbullying Dynamics in LLM-Generated and Authentic Dialogues
摘要
网络欺凌(CB)是一种以反复攻击、权力失衡、多方互动为特征的复杂社会现象。尽管大型语言模型 (LLM) 越来越多地用于生成用于数据增强和基准测试的合成 CB 对话,但仍不清楚这些数据是否忠实地再现了真实交互的社会动态,超出了支持下游任务性能的范围。我们提出了一个全面的框架来评估大语言模型生成的 CB 对话的社会现实性。我们比较了 GPT、Grok 和 LLaMA 生成的真实对话和综合对话,涉及交互结构(轮流、权力动态和修复行为)、语言和文体现实主义(代词使用和幽默)、情感和行为标记(CB 类型、脏话和毒性)以及时间升级动态。我们进一步通过对网络欺凌存在、场景相关性、角色合理性和社会现实性的人工评估来补充自动分析。我们的结果表明,大语言模型生成的数据始终保留高级交互结构,包括角色参与模式、方向权力不对称和行为标记的广泛分布。然而,所有模型都系统地扭曲了更细粒度的社会现象,包括行为幅度、特定角色分配、分类分布和时间动态。这些扭曲强烈依赖于模型:GPT 抑制有害内容,Grok 放大攻击行为,LLaMA 提供最平衡的近似值,同时平滑角色差异。我们的研究结果表明,合成的 CB 数据对于建模全球交互结构很有用,但当行为现实主义和社会动态至关重要时,它仍然不能完美地替代真实的对话。