论文

用于评估会话推荐系统的决策感知用户模拟代理

Decision-aware User Simulation Agent for Evaluating Conversational Recommender Systems

智能体系统Agent任务评测

摘要

对话式推荐系统 (CRS) 越来越依赖用户模拟器来自动评估销售代理。此类模拟器的一个关键要求是能够模拟人类决策。然而,大多数现有的模拟框架并没有明确地模拟内部决策过程,并且基于LLM的模拟器往往表现出不切实际的强大信息处理能力,很少表现出真实消费者行为中常见的犹豫或决策延迟,导致接受概率过高。为了解决这个限制,我们提出了 Hesitator,这是一个基于理论的用户模拟框架,可以明确地模拟选择过载下的人类决策。该框架引入了一个模块化决策模块,它将基于实用程序的项目选择与过载感知的承诺决策分开。跨多个用户模拟框架、领域、销售模式和 LLM 主干的实验表明,集成我们的模块始终可以减轻过载条件下的不切实际的行为。此外,Hesitator 重现了心理经济学中既定的行为模式,展示了其模拟人类决策行为的能力。