论文

超越专家用户:智能体应帮助用户构建偏好而非仅引出偏好

Beyond expert users: agents should help users construct preferences, not just elicit them

智能体系统Agent任务评测

摘要

智能体通常假设专家用户——对自己想要什么有完全形成的偏好——并在任务欠指定时默认提出澄清问题。我们论证该假设不现实。用户常缺乏领域知识来拥有完全指定的偏好;如果被问及对某特征的偏好,用户可能无法回答——除非智能体帮助用户获取形成该特征偏好所需的领域知识,如通过示例或解释。为形式化这些原则,我们借鉴信息经济学的搜索-体验-信任框架引入CoPref:用户基于智能体对话动作构建偏好的模型。然后在智能体推荐系统中具体研究这些想法,提出CoShop交互基准。在CoShop中,智能体与CoPref用户对话并做推荐。评估五个前沿模型:没有智能体在五轮交互后超过56%的准确率。失败不源于智能体的能力。

超越专家用户:智能体应帮助用户构建偏好而非仅引出偏好:论文配图
图 1:顶部:交互式代理(如代理推荐系统)与用户聊天以了解他们的任务偏好。底部:我们提出 CoPref,一种基于代理对话操作共同构建偏好的用户模型,而不是假设这些用户是具有简单检索的静态、格式良好的任务偏好的专家。然后我们介绍 CoShop,这是一个在推荐设置中与 CoPref 用户一起评估代理的基准。