论文

GameUIAgent:基于结构化中间表示的LLM驱动游戏UI自动设计框架

GameUIAgent: An LLM-Powered Framework for Automated Game UI Design with Structured Intermediate Representation

应用与实践内容创作

摘要

游戏UI设计需要跨稀有度等级保持视觉资产的一致性,但目前仍主要依赖人工流程。我们提出GameUIAgent,一个由LLM驱动的智能体框架,通过Design Spec JSON中间表示将自然语言描述转换为可编辑的Figma设计。一个六阶段神经符号流水线结合了LLM生成、确定性后处理与由视觉语言模型(VLM)引导的反思控制器(RC),实现迭代自纠错并保证质量不回退。在110个测试用例、三个LLM与三种UI模板上的评估中,跨模型分析建立了游戏领域的失败分类学(依赖稀有度的退化;视觉空泛),并揭示了两项关键经验发现。质量天花板效应(Pearson r=-0.96,p<0.01)表明RC的改进受限于质量阈值以下的提升空间——这是测试时计算扩展律在视觉领域的对应物。渲染—评估保真度原则揭示,部分渲染增强会因放大结构缺陷反而使VLM评估劣化。总体而言,这些结果为游戏生产中LLM驱动的视觉生成智能体奠定了基础性原则。

GameUIAgent:基于结构化中间表示的LLM驱动游戏UI自动设计框架:论文配图
图1:GameUIAgent整体架构。第 1-5 阶段构成前向生成过程;第 6 阶段(反射控制器,绿色)通过将 VLM 质量分数转换为有针对性的修复提示并在 Savg<θS_{\text{avg}}\!<\!\theta 时重新调用第 2 阶段来关闭代理循环。设计规范 JSON 中间表示(虚线框)将创意生成与确定性增强分开。