VLAA-GUI：了解何时停止、恢复和搜索，GUI 自动化的模块化框架

自主 GUI智能体 面临两个基本挑战：提前停止，即代理在没有可验证证据的情况下过早地宣布成功；以及重复循环，即代理循环执行相同的失败操作而不进行恢复。我们推出了 VLAA-GUI，这是一个围绕三个集成组件构建的模块化 GUI 代理框架，可指导系统何时停止、恢复和搜索。首先，强制性的完整性验证程序在每个完成步骤中强制执行 UI 可观察的成功标准和验证 - 代理级验证程序通过决策规则交叉检查完成声明，拒绝那些缺乏直接视觉证据的声明。其次，强制循环断路器提供多层过滤：在重复失败后切换交互模式，在持续屏幕状态重复后强制策略更改，以及将反射信号与策略转换绑定。第三，按需搜索代理通过直接查询具有搜索能力的 LLM 来在线搜索不熟悉的工作流程，并以纯文本形式返回结果。我们还集成了用于代码密集型操作的 编码智能体 和用于精确动作定位的定位Agent，两者都在需要时按需调用。我们在 Linux 和 Windows 任务的两个基准测试中跨五个顶级主干（包括 Opus 4.5、4.6 和 Gemini 3.1 Pro）评估 VLAA-GUI，在这两个基准上都实现了最高性能（OSWorld 上为 77.5%，WindowsAgentArena 上为 61.0%）。值得注意的是，五个骨干网中的三个在 OSWorld 上一次超越了人类表现（72.4%）。消融研究表明，所有三个提议的组件持续改善强大的骨干网，而当步骤预算足够时，较弱的骨干网从这些工具中受益更多。进一步的分析还表明，Loop Breaker 几乎将易发生循环模型的浪费步骤减少了一半。