论文
面向GUI智能体的技能引导延续蒸馏
Skill-Guided Continuation Distillation for GUI Agents
摘要
改进GUI智能体通常依赖在专家轨迹上做行为克隆。但当当前策略偏离专家策略时——它必然在闭环执行中遇到策略诱导的偏离轨迹状态——即落在专家轨迹之外的状态。由于专家轨迹不为这些未见状态提供示范——此类状态得不到有效监督——使策略无法选择正确动作。为闭合该监督缺口——我们提出技能引导延续蒸馏(SGCD)——迭代自改进框架。SGCD先让朴素策略在无技能引导下运行几步到达真实的偏离轨迹状态。从这些状态出发——技能引导策略完成任务并产出成功延续——与专家轨迹混合——为策略诱导偏离轨迹状态供给监督。技能从成功与失败rollout中抽取——由延续计划、关键目标、失败陷阱与成功标准组成。在OSWorld-Verified上——SGCD把三个基座模型的成功率从30%出头的区间提升到超过50%——展示其有效性与普适性。
