沙丘社区
论文

MissClick：利用逐数字坐标编码攻击GUI定位模型

MissClick: Exploiting Digit-Serialized Coordinates to Attack GUI Grounding Models

Yu Ran; Wentao Zhao; Xin Zhang; Yi Pan
模型评测安全与风险评测

摘要

最近的GUI视觉定位模型将屏幕坐标生成为序列中的数字标记，这些数字被解析成数值，并映射到可执行的点击。这一过程的安全性问题尚未得到充分关注。我们观察到每个坐标中的数字都被预测为类别标签，但在解析后，改变百位数上的一个数字会导致对应的数值坐标组件变化100单位，从而引起较大的点击偏移。这一观察促使攻击目标考虑到坐标输出的数值和位置值结构，而不是将其视为普通文本。此外，未定向攻击和定向攻击有不同的成功条件——改变点击的位置以偏离正确区域与将点击置于指定区域相比，因此需要不同的攻击目标。我们提出MissClick，这是一种简单且有效的白盒对抗攻击，具有两个特定的目标：MissClick-U最大化未定向破坏的软坐标偏移，而MissClick-T最小化针对位置权重的目标数字偏差损失。与在桌面、网页和移动平台上的现有攻击相比，MissClick-U在OS-Atlas和UGround上实现的未定向成功率为75.07%和72.93%（+16.62和+30.72pp），而MissClick-T在目标区域内的成功率为44.86%和62.67%（+31.73和+47.06pp）。攻击目标比较进一步表明，软坐标偏移产生最高的未定向攻击成功率，而位置权重的目标数字优化产生最高的定向攻击成功率，揭示了两种攻击目标之间的不同优先级。

MissClick：利用逐数字坐标编码攻击GUI定位模型：论文配图
图 1：GUI 基础模型的坐标生成管道及其安全影响。数字标记被解析为坐标，其中每个位置都带有小数位值（×\times100、×\times10、×\times1），因此高位数字变化会产生更大的坐标偏移（Δ​x\Delta x、Δ​y\Delta y 显示相对于干净输出的每个位置的变化）。在 ℓ∞\ell_{\infty} 有界扰动 (ε=16/255\varepsilon=16/255) 下，MissClick-T 将点击从预期数量字段重定向到结账按钮。网页截图中的 Uground 示例。