淘宝直播以统计校验Skill自动分析AB实验

AB 实验分析 Skill 用于把实验分析流程标准化、避免遗漏关键校验步骤（如 SRM 检验）以确保结论可信。实现上把 SRM 检验设为强制步骤，不通过或分流比例异常时必须告警以阻断错误结论。statistical_tests.py 根据指标类型（连续/比率）与数据特征（正态性、样本量）自动在 Welch's t-test、Mann-Whitney U 与 Z-test 之间选择。 结论判定矩阵综合 p 值、效应量与效应方向自动生成推全建议，而不只看 p 值。内置避坑指南处理多重比较校正（多指标时自动 Bonferroni 校正避免假阳性）、长尾分布处理与 peeking problem 提醒。SKILL.md 只写「连续型指标用 Welch's t-test，非正态时回退到 Mann-Whitney U」，原理细节放 references/statistical_methods.md 做渐进式披露。 作者同时给出开发方法论：Description 必须写清 WHAT 与 WHEN 才能被正确触发。SKILL.md 的职责是流程而非代码。必须定义结构化输出 Schema。config.yaml 是模板而非表单（用 auto 占位、空列表与 [默认值]）。测试驱动开发——用模拟数据跑通全流程的测试与调优工作可能占据实际 Skill 开发的 70%-80%。 前序实践是在 Idealab AI Studio 上用 Prompt Engineering + 知识库 RAG 构建对话型用户理解助手，实现「给数据 → 出洞察」闭环，此次迁移到 QoderWork Skills 是把该思路产品化。