论文
循环渲染:交互式 Web 开发的执行驱动代理
Rendering-in-the-Loop: An Execution-Driven Agent for Interactive Web Development
摘要
多模态 大语言模型 在前端 Web 开发方面取得了显着进展,从屏幕截图和交互视频等多模态参考生成交互式网页。然而,现有的工作主要强调视觉指标,例如美观和布局相似性,而忽略了更关键的交互功能验证。我们提出了 RILA,一个执行驱动的代理,它将浏览器渲染放入循环中,迭代地编辑根据运行时交互反馈生成的代码。 RILA 引入了动作交互验证 (AIV) 模块,可在生成的网页上重放参考交互轨迹,以收集有实际执行依据的观察结果;以及执行感知渲染分数 (ERS),联合测量交互正确性和视觉保真度,以指导迭代优化。我们进一步构建了一个经过执行验证的数据合成管道,可生成多样化的高质量训练数据,为推理时间优化提供补充。在 IWR-Bench 上,RILA 不断提高基础模型的交互和视觉保真度。值得注意的是,通过我们的训练管道,RILA 将紧凑型 Qwen3.5-9B 主干从 40.40% 提升到 57.52%,超越了更大的一次性生成器,包括 1T 参数 Kimi-K2.6 (55.61%) 和专有的 GPT-5.5 (55.74%)。