技术实践

淘天以视觉稿任务评测Tarot Pixel还原流程

应用与实践上下文与知识模型评测上下文工程评测方法与指标编程

概述

淘天团队收集了 34 个覆盖 B/C 端典型场景的视觉稿做测试验证,完整流程验证完成 24 个。从 MasterGo 导出到中间态视觉稿的工程性问题已全部解决,涉及编程 Agent 查询使用中间态视觉稿做 UI 真实还原的大部分问题已解决(图层定位慢、图片合成准确性持续优化中),过程中发现的 UI 真实还原性问题一般经 1-3 次人工对话引导即可完成,相较之前的 D2C 流程人工介入程度极低。 演示案例中还原效果均为 Coding Agent 一次完成、人工干预前的效果。一般场景可一次性高质量还原,复杂模块需要 1-3 轮额外对话微调。修正闭环由两条路径驱动:开发者提示修正(只需指出「间距不对」「背景色不对」,Agent 自己回查设计稿取值并修改)与 Agent 自主修正(调截图 API 取设计稿原图与自身实现比对,调 d2c-context 查遗漏细节或 composite 取合成图,再经 node-map 用图片识别定位到待修正节点),结合 Coding Agent 普遍内置 Browser Use 能力形成 screenshot → 识别 → 定位 → 修正的结构化流程。 团队明确以「人工干预次数」而非「代码采纳率」作为衡量 AI Coding 是否真正有效的指标。仍在解决的问题包括复杂设计稿中图层定位效率、半透明装饰与内容重叠等边界情况下的切图准确性、复杂模块需 1-3 轮微调、多状态识别准确率持续优化。