用眼睛编码：视觉反馈解锁可靠的 GUI 代码生成和调试

基于 大语言模型 (LLM) 的代理的最新进展在代码生成方面显示出显着的进步。然而，当前的代理方法主要依赖基于文本输出的反馈（例如命令行输出）进行多轮调试，并在涉及视觉信息的图形用户界面（GUI）中挣扎。这主要是由于两个限制：1）GUI程序是事件驱动的，但现有方法无法模拟用户交互来触发GUI元素逻辑2）GUI程序具有视觉属性，使得基于文本的方法很难评估渲染的界面是否满足用户需求。为了系统地应对这些挑战，我们首先引入 InteractGUI Bench，这是一个新颖的基准测试，包含 984 个常用的真实桌面 GUI 应用程序任务，旨在对交互逻辑和视觉结构进行细粒度评估。此外，我们提出了 VF-Coder，一种基于视觉反馈的多代理系统，用于调试 GUI 代码。通过感知视觉信息并直接与程序界面交互，VF-Coder 可以以类似人类的方式识别潜在的逻辑和布局问题。在InteractGUI Bench上，我们的VF-Coder方法将Gemini-3-Flash的成功率从21.68%提高到28.29%，并将视觉分数从0.4284提高到0.5584，表明视觉反馈在GUI调试中的有效性。