论文
GUITAR：通过状态转换对 GUI Agent进行结构化故障诊断
GUITAR: Structured Failure Diagnosis of GUI Agents via State Transitions
摘要
了解图形用户界面 (GUI) Agent失败的位置和原因对于构建更可靠的系统至关重要，但当前的评估依赖于步骤准确性，这是一种独立处理每个屏幕并忽略 GUI 环境的底层结构的指标。这导致了两个关键盲点：（1）功能等效的屏幕是孤立评估的，掩盖了共享屏幕上的系统故障模式； (2) 长尾 GUI 分布使得罕见但关键的屏幕上的故障在标准指标下不可见。为了解决这些问题，我们提出了 GUITAR，一个以状态为中心的诊断框架，它使用状态转换图（STG）通过将视觉上不同的屏幕映射到共享功能状态来对状态和转换执行结构化故障分析。在 AndroidControl 和 Mind2Web 的 8 个Agent和 6 个任务中，GUITAR 显示 60.4% 的故障发生在 20% 的状态中，将错误定位到一小部分瓶颈。在全自动 STG 的三重轨迹保留评估下，针对瓶颈的指导将 SR 提高了 2.8%，并在 7 个智能体中保持了 1.88% 的平均增益。这些发现证明了在评估的移动和网络任务中结构感知评估的诊断和可操作价值。代码可在 https://github.com/sqzhang-lazy/GUITAR 获取