RELATE：评测LLM情感支持中的关系引导

大型语言模型 (LLM) 越来越多地用于情感支持，这引起了人们的担忧，即持续使用可能会使用户远离现实世界的关系。然而，现有的评估主要关注响应的安全性、同理心或有用性，而没有充分审查一个相关问题：该模型将用户定位在哪里以获得持续支持？为了解决这个问题，我们引入了关系导向，这是一种通过两个非排他性维度进行操作的属性：向内（IF）语言，将人工智能定位为用户持续的支持来源，以及向外支架（OS）语言，鼓励现实世界的人类联系。基于心理学和社会学文献，我们形式化了关系取向的分类法，并提出了 RELATE，这是一个以角色为条件的框架，用于在多轮对话中的句子级别测量内向和外向支架语言。 RELATE 将 76 个根据自然发生的问题改编的寻求帮助的情况与三种模拟用户风格配对，提供 228 个评估刺激。在我们的 实验中，我们使用对话评估 7 个LLM，每个对话有 6 个辅助回合，产生 1,596 个对话和 69,194 个辅助句子。我们使用基于标准的主要 LLM 裁判评估这些句子，并将辅助裁判应用于子集。在自动评估下，我们发现，在第六个助手轮中，标记为 IF 的句子比例高于第一轮，而对于犹豫的、间接的模拟用户来说，标记为 OS 的句子比例明显低于明确的、寻求保证的用户。 RELATE 提供了一个可重复的框架和句子级信号，用于审核和指导支持性LLM的关系方向。