技术实践

支付宝商家中心以PagePilot Skill执行网页测试

应用与实践上下文与知识智能体系统知识库Agent 工具调用Agent Harness编程

概述

支付宝商家中心团队因 PC 端长链路业务(店铺开通 15+ 步、商户入驻 20+ 步)人工测试与脚本维护成本高、线上风险大,从平台 AI 测试能力转向自建 Skill:核心思路是「不写测试代码,写测试知识」,把踩过的坑、验证过的交互代码与有效 DOM 选择器沉淀为组件 md(React 受控组件走 prototype.value setter + dispatchEvent、图片上传用 DOM.setFileInputFiles 直塞、Cascader 逐级选并等待 500ms、按钮无响应走 CDP 真实鼠标事件、SPA 拦截器每次提交前重注入、崩溃用表单快照恢复),随机出错率从首轮 40% 降到 4 轮后 5% 以下。 Case 经风格检测、元数据抽取、组件匹配与置信度评分、输出 step 列表四趟编译,置信度作为门控阈值决定静默执行/确认/拒绝。执行按 Phase 0-6 逐级门控(环境 precheck、浏览器执行、URL/ID 解析、DB 查询、数据比对、生成报告、语雀归档),失败按 errorCode 匹配 known-failures 并自动补录新模式。 已覆盖 42 个组件 md + 34 个脚本、覆盖商家侧 90% 高频操作:店铺神券与支小店 7 条 Case 全流程冷启动验证(提交+撤销 DB 双验证全 PASS,最长一条 236 秒)、卡券频道 7 条 Case 30 分钟跑完(人工需半天到 1 天)、品牌管理 B 站 12 条 Case 全量覆盖 11/11 PASS、P 站跨 Skill 联合验证 7/12 PASS 并发现前端 Bug、万知管理平台 100 条 Monkey 测试 15 分钟 100% PASS、蚂蚁答疑助手 4 波 137 条用例约 3 小时完成(人工约需 2 天,节省 70% 人力)并累计发现 10 类 Bug(含 2 个 P0)。