MAGA：通过结构化动作蒸馏实现GUI Agent的跨平台自融合

摘要

基于大规模语言模型的图形用户界面（GUI）代理在移动、Web 和桌面环境中日益普及。然而，现有的代理通常局限于特定领域，限制了其部署和用户体验。这一现象促使我们整合专门模型，形成一个跨环境的策略。权重融合直接将领域特定的专家融合，但在专家意见不一致的情况下，可能会导致执行动作被错误地抑制。而基于策略的蒸馏（OPD）避免了教师监督中的冲突，但在蒸馏过程中，所有响应词元都被同等对待，忽略了动作词元是环境与代理之间的唯一接口这一事实。为解决这一问题，我们引入了MAGA，根据生成动作的正确性，它抑制不必要的或无效的蒸馏信号，专注于错误动作的学习。此外，一个仅用于训练的提示优化了由领域特定教师提供的监督信号，而不改变学生的输入。在两种模型规模下，MAGMA 在平均成功率方面取得了最高的结果，在8B规模下比最强基线高2.0%，平均表现几乎与教师模型相当。

MAGA：通过结构化动作蒸馏实现GUI Agent的跨平台自融合：论文配图 — 图2：统一特定领域 GUI 智能体的三种策略。(a) 参数合并组合各领域教师模型的权重；教师意见冲突时可能改变可执行决策。(b) 逐样本路由的在策略蒸馏（OPD）通过 token 级教师监督训练学生模型，但仍将回答视为平坦 token 序列，导致动作 token 监督不足。(c) Maga 按动作语法分配蒸馏信号：学生侧排除完全正确的回答；若回答错误但动作类型正确，则放大整个动作片段；若类型错误，则只放大类型 token 并屏蔽后续参数。教师侧在训练期加入提示以改善监督信号，不改变学生输入。