技术实践
淘天直播以双校验和增量补丁提高Hook生成可靠性
概述
系统最本质的架构决策是让 LLM 负责「理解」、确定性代码负责「正确性」:AI Agent 只把自然语言翻译成结构化意图且不为输出合法性背书,后端引擎负责执行与围栏校验保证产出合法,前端做 Human-in-the-Loop 人工确认弥补认知 gap——LLM 的幻觉被限制在理解层,无法穿透到正确性层污染最终产物。 针对初版 SQL 之后的局部微调(精炼口径、维度展示调整与兜底值处理、输出 ext 冗余字段),团队不让 LLM 直接改数百行且字段间有关联约束的 DSL,而是设计 Hook 结构化「增量补丁」协议:hookType(做什么,如 FILTER/DIMENSION_TRANSFORM)+ layerType 与 nodeId(在哪做,精确定位到某层某节点)+ mergeStrategy(怎么合并,REPLACE/APPEND_AND/APPEND_OR)三者正交组合,AI 只输出结构化修改指令,由后端引擎执行。 为降低幻觉,给模型的上下文被裁剪为只有「初版 DSL + Hook 增量协议」,不含初始需求分析、指标口径与 SQL。安全围栏为双保险:前校验 Hook 结构体的类型/层级/节点/必填字段是否合法,后校验更新后的 DSL 结构完整性、依赖关系与拓扑逻辑自洽。实测 Hook 生成准确率约 97%+,双校验消除剩余 3% 的不确定性,使终版 SQL 完全可信。