论文

ClawTrace:面向LLM智能体技能蒸馏的成本感知追踪

ClawTrace: Cost-Aware Tracing for LLM Agent Skill Distillation

AI 基础设施智能体系统Agent Skills可观测性

摘要

技能蒸馏管道从 LLM 代理轨迹中学习可重用的规则,但它们缺乏关键信号:每个步骤的成本是多少。如果没有每步成本,管道就无法区分添加缺失的步骤来修复错误和删除从不影响结果的昂贵步骤。我们引入了 ClawTrace,一个代理跟踪平台,它记录代理会话期间的每个 LLM 调用、工具使用和子代理生成,并将每个会话编译到 TraceCard 中:一个紧凑的 YAML 摘要,其中包含每步美元成本、token计数和冗余标志。 CostCraft 基于 ClawTrace 构建,是一个蒸馏管道,可读取 TraceCards 并生成三种类型的技能补丁。保留补丁保留导致成功的行为。修剪补丁删除了无关紧要的昂贵步骤,每个步骤都有一个反对指定高成本步骤的反事实论据支持。修复补丁修复基于 Oracle 证据的故障。对 30 个 SpreadsheetBench 任务的消融表明,成本归因和修剪补丁都独立地减少了质量回归。当相同的技能应用于 30 个不相关的 SkillsBench 任务时,出现了意想不到的不对称性:修剪跨基准转移的规则并将中值成本降低了 32%,同时保留规则,根据基准特定约定进行训练,导致新任务类型的回归。我们发布 ClawTrace 和 TraceCards 作为开放基础设施,用于成本感知代理研究。

ClawTrace:面向LLM智能体技能蒸馏的成本感知追踪
图 1:端到端架构。捕获:ClawTrace 通过八个事件挂钩来检测代理会话。编译:确定性编译器为每个会话生成一个 TraceCard。 Distill :CostCraft 发出保留、修剪和修复补丁,这些补丁合并到进化的 SKILL.md 中。