技术实践

Snowflake与Bespoke Labs用真实dbt项目评测数据工程Agent

模型评测智能体系统Agent Harness评测方法与指标

概述

Snowflake与Bespoke Labs构建Data Eng Bench,将Agent放入真实dbt项目与企业数据仓库环境,要求完成管线构建、修复和数据处理任务。评测使用业务不变量等检查衡量任务是否正确完成,比较Snowflake的CoCo与通用编码Harness的不同处理方式。案例的价值在于把数据库状态、工程约束和执行过程纳入测试,而非只检查代码文本。网页存在后续更新,本周概述不采用8月10日之后补入的任务规模及汇总成绩;来源中的特定模型成本比较也不能代表所有配置。