TraceSpec按Agent轨迹阶段评价并训练投机草稿模型

摘要

LLM Agent通过对推理、操作和工具反馈的演变历史进行重复的模型调用来执行任务。聚合推测解码指标合并了这些不同的决策，为需要草稿模型监督的地方提供了有限的指导。我们提出了 TraceSpec，一个将轨迹评估与自适应草稿模型训练连接起来的框架。它将动态执行与固定前缀重放相结合，并引入了 TraceSpec-Traj，这是一个包含 10,000 个训练状态和 2,500 个测试状态的语料库，涵盖浏览和软件工程。对五个推测基线的分析表明，总体接受率会随着上下文长度的增加而上升，而在匹配的后期浏览操作中则下降。工作负载和阶段进一步区分了这些趋势，激发了轨迹条件指导下的监督。 TraceSpec 对中间助理轮次进行训练，并使用前缀感知接受差距的状态条件估计来分配固定的预测预算。在三种目标模型规模和两种温度下，它的重放吞吐量比 DSpark 基础提高了 12.5% 至 22.6%。 Qwen3-4B 消融表明，与固定全轮监督相比，自适应分配将接受长度增加了 3.3% 至 10.0%，并通过额外的比较证实了状态调节和连续token一致性的作用。由此产生的评估资源、轨迹发现和训练策略将Agent执行分析与实际草稿模型改进联系起来。

TraceSpec按Agent轨迹阶段评价并训练投机草稿模型：论文配图 — 图1：TraceSpec概览。（a）轨迹状态构建、覆盖与按源任务划分数据。（b）带轨迹诊断的动态执行和固定前缀回放。（c）固定预测预算下，以状态为条件分配监督，并按事件归一化采样，进行完整轮次监督。三个面板衔接轨迹数据、评估和自适应草稿模型训练。面板a在两类工作负载、五个上下文层次和四个阶段上构建历史—续接对，并按源任务划分训练集与测试集。面板b展示冻结Qwen3对草稿的动态验证、更新历史的工具反馈，以及在完全相同的已保存测试前缀上评估的五个基线草稿模型。轨迹诊断汇总接受率、吞吐量和回合时延。面板c将目标模型生成的训练轨迹展开为助手片段。冻结Qwen3的输出与特征监督一个基于DSpark的可训练草稿模型。token重叠参与形成接受率差距，再按上下文、阶段、工作负载和工具状态平滑处理。基础覆盖与自适应优先级确定监督份额，并利用每次访问的预期预测事件数，将其转换为片段采样概率。训练反馈更新分配，所得草稿模型再返回评估。