一个数字值多少像素？用于GUI Agent置信度估计的按位感知坐标熵

摘要

GUI 智能体将点击坐标预测为数字 token 序列，但标准的文本 LLM 置信度估计方法只能微弱地区分正确点击与错误点击。GUI 专用替代方案需要 K 次采样或新的监督信号，但仍有改进空间。我们将其部分归因于位值不对称：边界框正确性往往使高位数字比低位数字更重要，因此均匀聚合会削弱决定正确性的信号。解决办法是按位值对每个数字的香农熵加权，我们称之为按位感知坐标熵（PACE）。在 ScreenSpot-Pro 和 ScreenSpot-v2 上的固定尺度智能体实验中，PACE 在所有主要比较中以单次前向传播同时赢得 AUROC 和选择性准确率，以很小的成本匹配或超越 K 采样基线。PACE 提供每次点击的置信度估计，将坐标 token 内部信息转化为 GUI 智能体部署的实用置信度信号。

一个数字值多少像素？用于GUI Agent置信度估计的按位感知坐标熵：论文配图 — 图 1：两个真实 EvoCUA-88B 预测（Stata，ScreenSpot-Pro）上的数位不对称性。(a) 一次正确的点击，其熵集中在个位（H=2.29，在相距 11 像素的十个候选上近乎均匀分布），而百位已锁定（H=0.19）。(b) 一次错误的点击，其熵集中在百位（H=2.06，五个候选相距 100 像素），而个位已锁定（H=0.27）。两种情形的 P(True) 均为 0.98。Coordinate-Entropy 简单平均，将正确的点击判定为更不确定（1.41>0.92）；PACE 按数位加权，恢复了正确的排序（0.35<1.90）。