对话式人工智能的故障：情感和道德敏感环境中的交互失败

对话式人工智能越来越多地应用于充满情感和道德敏感的互动中。之前的研究主要集中在情感基准或静态安全检查上，忽视了在不断发展的对话中如何展现一致性。我们探讨了这个研究问题：当对话主体面临情感和道德敏感行为时会出现什么故障，以及这些行为如何影响对话质量？为了对聊天机器人的性能进行压力测试，我们开发了一个角色调节的用户模拟器，能够与心理角色和分阶段的情绪节奏进行多轮对话。我们的分析表明，主流模型会反复出现故障，并且随着情绪轨迹的升级而加剧。我们确定了几种常见的失败模式，包括情感错位、道德指导失败以及同理心取代或削弱责任的跨维度权衡。我们将这些模式组织成分类法并讨论设计含义，强调在整个动态交互过程中保持道德一致性和情感敏感性的必要性。这项研究为人机交互社区提供了在价值敏感和情绪化的环境中诊断和改进对话式人工智能的新视角。