论文

UI-MOPD:统一 GUI智能体 的多平台 同策略 蒸馏

UI-MOPD: Multi-Platform On-Policy Distillation for Unified GUI Agents

摘要

多模式基础模型和代理系统的最新进展推动 GUI智能体 从单平台任务执行转向跨平台交互。然而,统一的多平台 GUI 学习仍然具有挑战性:高质量的跨平台轨迹仍然稀缺,而平台共享可转移的功能,但在动作语义和交互约定上有所不同。天真地混合监督或合并专门模型可能会模糊本机行为并产生不平衡的性能。为了应对这些挑战,我们构建了 Uni-GUI,这是一个高质量的数据集,包含通过统一的桌面移动工具收集的近 10K 可执行跨平台交互轨迹。在 Uni-GUI 的基础上,我们提出了 UI-MOPD,这是第一个将多教师 同策略 蒸馏 (MOPD) 引入统一多平台 GUI智能体 训练的框架。 UI-MOPD 在其自己的执行轨迹中对共享学生进行训练,并将每次执行轨迹动态路由到相应的平台专业教师。在学生访问的状态,教师指导充当平台条件的行为锚,实现互补的桌面和移动专业知识的集成,而无需平均其独特的交互惯例。在 OSWorld 和 MobileWorld 上,UI-MOPD 的任务成功率分别为 38.2% 和 12.0%,优于参数匹配的集成策略,同时保留了通用 GUI目标定位。这些结果表明,多教师同策略 蒸馏提供了构建统一跨平台GUI智能体的有效方法。项目页面:https://elispectre.github.io/UI-MOPD/。