论文
“Skill Issues”:湖仓智能体的以数据为中心的优化
"Skill issues'': data-centric optimization of lakehouse agents
摘要
编码代理正在成为数据基础设施的用户,但它们的成功不仅取决于模型质量:还取决于教导代理如何使用系统的技能和环境文件。我们研究如何为在 Bauplan 分支湖屋上运行的代理优化这些工件。在我们的设置中,无头 API 和类似 Git 的数据原语通过代码、分支、提交和合并公开数据工作流。我们的中心观察是,分支 Lakehouse 将数据代理评估从输出匹配问题转变为状态验证问题:代理生成的管道代码引起具体的、可检查的 Lakehouse 更改。我们提出了一个以数据为中心的优化管道,它生成任务验证器对,在隔离的沙箱中执行候选技能,并使用跟踪级信号和对 Lakehouse 状态的编程检查来对轨迹进行评分。在对 25 项任务的初步评估中,优化后的技能准确率提高了 31.9%。这些结果表明,写入路径数据工作流程为优化只读任务之外的代理技能提供了有用的基础。
