情感对话情境中大语言模型的情感一致性分析

摘要

在这项工作中，我们进行了一项分析，以检查大语言模型 (LLM) 在情感驱动的对话环境中与他们自己生成的响应的一致性。具体来说，LLM 生成的文本被构建为对同一模型的查询，随后评估其响应。这是通过跨极端和中等情绪两个维度的三个查询来执行的。特别是，这三个查询是错误声明查询，它们包含按照强度递增的固有错误假设（错误预设）。研究中考虑了两种商业模型 Claude-3.5-haiku、GPT4o-mini 和中型模型 Mistral-7B。我们的研究结果表明，LLM 的性能低于平均水平，并且仍然容易受到查询中嵌入的错误信念的影响。这种敏感性对于中等情绪内容尤其明显。此外，基于注意力评分的扩展分析强调了模型优先级从评估性转向生成性的转变。结果为 LLM 在高风险、情感敏感的环境中的部署提出了重要考虑。