论文
RiskWebWorld:面向电商风险管理GUI智能体的真实交互基准
RiskWebWorld: A Realistic Interactive Benchmark for GUI Agents in E-commerce Risk Management
摘要
图形用户界面(GUI)智能体在自动化Web任务上展现出强大能力,但现有交互基准主要面向良性、可预测的消费者环境。它们在真实电商风控这类高风险、调查性领域中的有效性仍缺乏探索。为弥合这一差距,我们提出RiskWebWorld,首个用于评估电商风控GUI智能体的高度真实交互基准。RiskWebWorld包含源自生产风控流水线、覆盖8个核心领域的1,513个任务,捕捉了在不配合网站上开展风控运营的真实挑战,包括部分环境劫持情形。为支持可扩展评估与智能体强化学习(RL),我们进一步构建了符合Gymnasium规范、将策略规划与环境机制解耦的基础设施。跨多模型的评估揭示了巨大的能力鸿沟:顶尖通用模型取得49.1%成功率,而开源权重的GUI专用模型几近全败。这凸显出在长程专业任务中,基础模型规模目前比零样本界面落地能力更为关键。我们还通过智能体RL展示了基础设施的可行性,将开源模型提升了16.2%。这些结果使RiskWebWorld成为培养健壮数字员工的实用试验场。
