论文

CoAdapt-GUI:面向未见GUI应用的联合工作流上下文与策略自适应

CoAdapt-GUI: Joint Workflow Context and Policy Adaptation for Unseen GUI Applications

模型训练上下文与知识强化学习上下文工程

摘要

移动GUI智能体在部署到源训练中不存在的应用时仍然脆弱。我们研究在目标交互预算有限且没有目标演示条件下的新应用泛化。我们提出CoAdapt-GUI,一个测试时自适应(TTA)框架,从智能体自身在目标应用上的rollout和奖励出发,联合自适应结构化工作流上下文与策略。工作流上下文保留可迁移的程序、失败模式与验证规则,同时排除与源应用绑定的细节。这种分离使可复用的工作流知识能够引导自适应,而不迁移源界面状态。在策略自适应方面,任务上下文匹配的组相对优化在冻结的视觉语言模型上更新LoRA适配器。在两项未见应用评估中,CoAdapt-GUI在AndroidWorld-Generalization上达到45.0%,而已报告的Policy-Only TTA基线为37.5%;并将AndroidWorld Plus性能从38.6%提升到52.9%。这些结果表明,受迁移约束的工作流上下文带来显著增益,且联合策略自适应进一步提升留出性能。

CoAdapt-GUI:面向未见GUI应用的联合工作流上下文与策略自适应:论文配图
图1:CoAdapt-GUI 使用匹配的目标应用 rollout 来细化可迁移的工作流上下文,并在冻结的 VLM 上更新轻量级策略适配器。Context-Only TTA 仅执行上下文分支,而 CoAdapt-GUI 使用相同的 rollout 批次执行两个分支。适配后的上下文和策略在留出评估之前被冻结。