迈向全维度GUI Agent导航：掩码轨迹预测方法

图形用户界面（GUI）Agent自主地与软件交互以完成用户请求，其中GUI导航是最关键也最具挑战性的能力。掌握这一能力需要逐步决策、状态-动作对齐与长程规划的复杂协同。虽然将这些对应的导航任务直接混合起来以同时习得这些技能看似直观，但这种直接组合严重受制于优化目标不一致与深刻的数据异质性。为克服这些障碍，我们提出MaP（Masked Trajectory Prediction，掩码轨迹预测），一个能无缝调和彼此分歧的GUI导航任务的统一框架。通过将多轮GUI交互建模为轨迹，并通过组件遮蔽与预测来定义训练目标，MaP把优化从任务特定的边缘分布转向一致的目标。此外，为处理多个导航任务间的数据异质性，我们设计了角色感知适配器学习模块，将每个token动态路由到专门化的表示空间。在五个代表性GUI导航基准上的大量实验表明，MaP有效缓解了梯度冲突，并显著优于直接混合训练，为多任务GUI导航建立了稳健的范式。