EvoGUI：用于 GUI 状态转换理解的进化感知基准

GUI智能体 必须推理动作如何改变界面状态，但端到端的成功率将这种能力与感知、基础、规划和恢复纠缠在一起。我们介绍了 EvoGUI，一种诊断框架，它将标准化 GUI 轨迹转换为三个互补的视觉问答探针：时间排序、反向动作/值预测和对比一步后继判别。它们的标签源自轨迹顺序和记录的操作，在轨迹标准化后不需要额外的任务标签注释。我们从 Mind2Web 和 WebLINX 实例化 EvoGUI-Bench，在 120 个领域生成 3,000 个实例，并零样本评估 28 种视觉语言模型配置。最强的模型仅达到 60.4 EvoGain，而模型规模和 GUI 专业化并不能可靠地预测性能。这些结果使 EvoGUI-Bench 成为端到端 GUI智能体 评估的可扩展诊断补充，同时在状态转换理解方面提供了巨大的空间。源代码可在 https://github.com/Yyhhh6/EvoGUI 上公开获取。