GUI 扰动：域随机化揭示了 GUI 基础模型中的系统脆弱性

GUI 基础模型在标准基准测试中的准确率超过 85%，但当指令需要空间推理而不是直接元素命名时，准确率会下降 27-56 个百分点。当前的基准测试错过了这一点，因为它们使用单​​个固定指令对每个屏幕截图进行一次评估。我们引入了 GUI-Perturbed，这是一种受控扰动框架，可以独立改变视觉场景和指令来测量目标定位鲁棒性。通过评估来自相同架构谱系的三个 7B 模型，我们发现关系指令会导致所有模型的系统准确性崩溃，70% 的浏览器缩放会产生统计上显着的性能下降，而具有增强数据的 8 级 LoRA 微调 会降低性能而不是提高性能。通过沿独立轴进行扰动，GUI-Perturbed 隔离了受影响的特定功能轴——空间推理、视觉鲁棒性、推理校准——提供聚合基准无法提供的诊断信号。我们发布了数据集、增强管道和微调模型。