技术实践

阿里用verify-data Skill自动取数与验数

智能体系统应用与实践Agent 工具调用Agent Skills结构化分析、预测与决策

概述

面向数据表上线前的人工验数环节,把验数流程编码为可复用 Skill:用户给出研发表名与分区,Agent 自动完成信息收集、基准表发现、代码逻辑分析、验数 SQL 生成、执行与报告发布。基准表发现走两阶段策略——先用数据开发平台血缘 API 追溯上游构建候选集,再按 score=血缘亲和度×0.5+维度重合度×0.3+指标重合度×0.2 精排,Top-1≥0.7 直接选用,不足但多表可联合覆盖时走分路指标对比,Top-5 最高分<30% 进入降级。 SQL 按 10 类标准化模板按需组合,其中关联膨胀检测与日期维度关联校验为必选(来自评审高频退回经验)。S2 迭代场景强制做 DEV/PROD Code Diff,扫描数据源变更、JOIN 变更、聚合与过滤变更等 8 类风险信号并为每个高风险信号生成定量证实 SQL,同时给出预期内与非预期差异清单。 无基准表时启用 4 种降级策略之一,并强制对原代码做 8 类风险信号审查加 V 类定量证实 SQL,避免「复制 ADS 逻辑重算只能自证执行一致」。执行上先做分区元数据预检,含 SET 语句的 SQL 串行、纯 SELECT 并行。产出 7 节结构化评审报告,含 PASS/WARNING/FAIL 三档结论、可执行 SQL 附录,自动归档到钉钉文档,SQL 与报告成对存入 verify-sql/,19 条踩坑记录沉淀在 lessons-learned.md。 四个实战场景:新 CUBE 表上线结论 PASS(7 指标×32 维度组合全部精确一致、DWD 上游比对 100% 一致)。DEV vs PROD 对比给出变更摘要与 1 个高风险信号加 V1-V6 证实 SQL。全新口径无基准表结论 PASS(3 个核心指标差异<0.01%)。维表验证结论 WARNING(静态校验全过、动态验证因源表权限不足受阻)。 引述口径为验数从传统 2-4 小时压缩到 30 分钟以内。