淘宝以六层Rubric和跨轮隔离实现购物助手日级评测

淘宝购物助手覆盖问参数、查物流、办退款等购前购后任务，团队重点披露购后多域的日级自动评测。原始线上日志分散且含卡片缺失、内部提示词和状态语义不一致，先经格式修复、语义映射、噪声屏蔽与业务过滤，再交给分域LLM裁判。数仓SQL处理数据与聚合，独立workflow负责推理，各域每日数千至数万条，耗时数小时。 统一六层Rubric依次检查上下文证据、越界拒答、能力边界诚实、工具执行链路和内容；安全红线并联检查，不受前面失败短路影响。证据不足时标记不可评并排除分母，缺失卡片数据不允许猜测评分。针对跨轮工具数据串扰，当前轮仅提供当轮调用；提示词要求引用输入证据、显式时间锚点及结构化输出。每轮通过随机抽样、人标一致性校验和归因分析修订数据、Prompt或Rubric，再区分Agent真实缺陷。团队报告通过率趋势收敛，没有给出可外推的全域绝对提升；垂直小模型替代方案仍在规划中。