WinDeskGround：复杂多窗口桌面环境中稳健 GUI 基础的基准

多模态 大语言模型 (MLLM) 彻底改变了 GUI 自动化，但其功效很大程度上建立在理想化的单层界面上。本文指出了一个关键的可靠性差距：最先进的代理在以多窗口堆叠、遮挡和视觉混乱为特征的现实桌面环境中面临着明显的鲁棒性挑战。为了解决这个问题，我们引入了 WinDeskGround，这是一种专为评估 GUI 界面定位稳健性而定制的新型基准和综合框架。与静态数据集不同，我们的框架通过控制窗口遮挡、布局密度和语义相似性来参数化地生成复杂的桌面场景，从而模拟真实工作流程的分布变化。我们构建了一个由 1,356 个高保真指令目标对组成的多样化元数据集，并对五个领先的 MLLM 进行了综合评估。我们的结果表明，虽然顶级智能体在简化设置中表现出色，但在部分遮挡情况下其准确性会下降。 WinDeskGround 提供了一个有价值的基准，有助于在现实环境中评估和提高 GUI智能体 的稳健性。该代码可在 https://github.com/ZZZhr-1/WinDeskGround 获取。