论文

RealWorldShop:现实世界电子商务中对话式购物Agent的基准测试和改进

RealWorldShop: Benchmarking and Improving Conversational Shopping Agents in Real-World E-commerce

智能体系统Agent任务评测

摘要

大语言模型正在将电子商务从静态推荐器重塑为交互式购物助手,但现实世界的购物需要会话级决策支持:用户揭示和修改约束,协调多个目标,并通过完整的对话期望基于产品的推荐。现有的基准大多以结果为导向或以执行为导向,使得这一不断发展的决策过程被低估。我们推出了 REALWORLDSHOP,这是一个基于 328 万个grounding产品、结构化购物片段、基于个人资料和动作控制的用户模拟器以及角色扮演评估构建的基准。我们的分析表明,当前的系统产生局部合理的响应,但在状态跟踪、约束更新和grounding收敛方面遇到困难,特别是在意图不明确、捆绑和多意图场景下。我们进一步提出 REALSHOP_AGENT,一个可执行的会话控制框架,具有显式状态管理、购物流程控制、基于目录的检索和运行时防护。实验表明 REALSHOP_AGENT 始终优于 REALWORLDSHOP 上的强基线。