论文

SimGym：基于真实流量的浏览器Agent用于电商离线A/B测试

SimGym: Traffic-Grounded Browser Agents for Offline A/B Testing in E-Commerce

Alberto Castelo, Zahra Zanjani Foumani, Ailin Fan, Keat Yang Koay, Vibhor Malik, Yuanzheng Zhu, Han Li, Meysam Feghhi, Ronie Uliana, Shuang Xie, Zhaoyu Zhang, Angelo Ocana Martins, Mingyu Zhao, Francis Pelland, Jonathan Faerman, Nikolas LeBlanc, Aaron Glazer, Andrew McNamara, Lingyun Wang, Zhong Wu来源日期：2026.02.02

智能体系统Agent 架构与控制循环

摘要

A/B测试仍是评估电商UI更改的金标准，但它会分流真实流量、需要数周才能达到统计显著性，并有损害用户体验的风险。我们提出SimGym，一个可扩展的系统，利用由大语言模型（LLM）agent驱动、在真实浏览器中运行的、以真实流量为根据的合成买家，进行快速的离线A/B测试。SimGym从生产环境交互数据中提取每个店铺的买家画像与意图，识别不同的行为原型，并在对照组与处理组店面之间模拟按群组加权的会话。我们在混杂因素控制下，用某大型电商平台上真实UI更改的真实人类结果对SimGym进行验证。即使没有做对齐后训练，SimGym agent也与观测到的结果变化达到最先进的对齐程度，并将实验周期从数周缩短到一小时以内，从而在无需让真实买家暴露于实验的情况下实现快速实验。

SimGym：基于真实流量的浏览器Agent用于电商离线A/B测试 — 图1：SimGym 框架概览。生产环境点击流数据输入画像（persona）生成流程（第 2.1 节），输出合成的智能体画像。这些智能体在真实浏览器中浏览对照组与实验组店铺（第 2.2 节）。评估通过一致率（alignment rate）和 Pearson 相关系数，将智能体的 A2C 率与人类结果进行比较（第 3.2 节）。