Agent 数据飞轮平台的选型和实践

1688宙斯已用于即时零售、商业发展等业务，团队为解决Agent问题定位和版本回归困难，在Java与AgentScope2服务中挂载ARMS GenAI探针，以Session、Trace和Span记录模型、工具和子任务执行。接入验收检查异步父子关系、环境隔离和标识传播，并处理多套追踪上下文冲突。线上轨迹经清洗进入评测集，Code、LLM或Agent裁判评分，低分项再人工复核；确认的问题沉淀为固定回归样本，修改后重新执行并按同标准比较。一次2080条评估记录中筛出72条低分候选，人工确认31个有效问题，26个修复并通过回归。团队自报定位平均55分钟降至15分钟，固定回归集任务完成度0.62升至0.82；这些属于该团队内部口径，经验库和跨会话记忆尚未接入。