PersonaChatBench固定任务改变模拟用户画像评估助理适应性

对话助理有望帮助具有不同背景、偏好和沟通方式的人们。然而，以单个合作用户为中心的评估对于助理为具有不同角色的用户提供服务的可靠性的了解有限。我们引入了 PersonaChatBench，一个用于评估任务能力和对不同用户需求的响应能力的框架。 PersonaChatBench 将相同的底层任务与多个模拟用户配对，每个模拟用户都由指定不同需求、偏好和交互行为的私人角色卡引导。通过在改变用户的同时保持任务固定，该框架可以检查助理性能在用户条件下的变化情况。我们评估了 6 个领域的 20 种语言模型，分别评估原任务结果、所表达的角色需求的满足以及模拟器的保真度。我们的结果表明，任务绩效和需求满足因角色和领域而异。出色的任务表现并不一定意味着满足个人需求，并且模型在满足这些需求方面的相对优势在各个领域之间并不一致。 PersonaChatBench 使这些差异变得可衡量，揭示了被总分掩盖的差距，并帮助确定助理可以很好地服务哪些用户以及需要进行调整的地方。它为评估用户之间的一致性并指导开发更好地满足日常应用程序中的不同需求的助手提供了基础。