BAMI：无需训练的 GUI 目标定位偏差缓解方法

GUI 目标定位是 GUI智能体 执行单击和拖动等任务的关键功能。然而，在 ScreenSpot-Pro 基准测试等复杂场景中，现有模型的性能常常不佳。利用所提出的\textbf{掩模预测分布（MPD）}归因方法，我们发现错误的主要来源有两个：高图像分辨率（导致精度偏差）和复杂的界面元素（导致模糊偏差）。为了应对这些挑战，我们引入了偏差感知操纵推理（BAMI），它结合了两个关键操作，从粗到细的聚焦和候选选择，以有效地减轻这些偏差。我们广泛的实验结果表明，BAMI 显着提高了 无需训练 设置中各种 GUI 目标定位模型的准确性。例如，将我们的方法应用于 TianXi-Action-7B 模型，可将其在 ScreenSpot-Pro 基准测试中的准确率从 51.9% 提高到 57.8%。此外，消融研究证实了 BAMI 方法在不同参数配置中的稳健性，突出了其稳定性和有效性。代码可在 https://github.com/Neur-IO/BAMI 获取。