PrecisionCUA：代码编辑器中像素精确光标定位的迭代视觉细化

计算机使用代理 (CUA) 从根本上依赖图形用户界面 (GUI) 基础将语言指令转换为可执行的屏幕操作，但密集编码界面（例如 VS Code 和光标）中的编辑级基础（需要亚像素精度才能与密集 IDE 元素交互）仍处于探索之中。现有方法通常依赖于单次坐标预测，缺乏纠错机制，并且在高密度界面中经常失败。在本技术报告中，我们对编码环境中的像素精确光标定位进行了实证研究。我们的代理不是单步执行，而是参与迭代细化过程，利用之前尝试到达目标元素的视觉反馈。这种闭环目标定位机制允许代理自我纠正位移误差并适应动态 UI 变化。我们在一系列复杂的编码基准上评估了 Claude、Qwen 和 GPT 的方法，证明多轮细化在点击精度和总体任务成功率方面都显着优于最先进的单次模型。我们的结果表明，迭代视觉推理是下一代可靠软件工程代理的关键组成部分。代码：https://github.com/microsoft/ precision-cua-bench/tree/main。