作为自我进化的 UI 到代码生成的视觉修复上下文的 Rubrics

大型视觉语言模型在 UI 到代码生成方面显示出巨大进步，但它们的测试时自我演化仍然不稳定。我们首先确定一个基本障碍，称为视觉修复耦合：本地代码编辑可能会通过布局、样式和组件依赖性传播，纠正一个视觉不匹配，同时降低以前忠实的区域。为了解决这个问题，我们提出了 RubSE，一个 Rubric 引导的自我进化框架，它使用 rubrics 将视觉反馈表示为结构化的视觉修复上下文。在每一轮细化中，RubSE 都会生成类型化的候选评分标准，选择一个优先修复目标，并将之前选择的评分标准存储为历史记录，从而引导每次修订朝着范围广泛的视觉修复方向发展，同时阻止重复或过于广泛的更改。对六个 VLM 和三个 UI 到代码基准的评估表明，RubSE 在最后一轮和最佳轮设置中大大优于朴素自我进化，实现了更稳定的细化轨迹和更高的轨迹级性能上限。进一步的分析表明，RubSE 通过改善严重视觉回归的恢复来减轻轨迹崩溃，并且更强的标题生成器可以将有效的视觉修复指导传递给较弱的代码改进器。