DyMT-ESB：用户与大语言模型互动中社会偏见的动态多轮评估

警告：本文包含刻板印象和社会偏见的示例。大语言模型越来越多地被公众用于互动环境中，这使得多轮对话场景中模型行为的评估对于安全非常重要，包括与刻板印象相关的危害。然而，现有的多轮社交偏见评估通常依赖于预先指定或基于模板的用户输入，这些输入不适应模型响应，并且通常提前假设固定的对话长度。在本文中，我们使用受控评估协议研究响应条件多轮交互中的社会偏见动态，该协议从不断发展的对话历史中生成后续用户查询，并允许对可变轮数进行评估。实验结果表明，大语言模型即使在连贯的、响应条件的多轮交互中也表现出社会偏见，揭示了晚出现的偏见、非单调的偏见模式和偏见的重新出现。这些结果激发了超越固定轮次、预先编写的协议的评估。我们的研究结果强调了将社会偏见分析为轮次动态现象的重要性。