论文

OmniGameArena:具有改进动态的 VLM 游戏代理的统一 UE5 基准

OmniGameArena: A Unified UE5 Benchmark for VLM Game Agents with Improvement Dynamics

智能体系统Agent任务评测

摘要

视觉语言模型(VLM)代理越来越多地部署在交互式游戏环境中。然而,VLM 代理的游戏基准通常会报告每个(代理、游戏)对的单个首次尝试分数,专注于单代理单人游戏,并且缺乏在相同基础上评估异构代理类别(商业 VLM、开放权重 VLM 和专门游戏策略)的统一协议。我们通过 OmniGameArena 和 Improvement Dynamics Curve (IDC) 来解决这些差距。OmniGameArena 是 12 款新建虚幻引擎 5 游戏的实时基准,涵盖单人游戏 (7)、PvP (3) 和合作游戏 (2),具有统一的动作界面;改进动态曲线 (IDC) 是一种代理反射工具,其中使用工具的反射器 LLM 在多个回合中自动细化有界技能提示。除了冷启动排行榜分数之外,IDC 还为每个(代理、游戏)对公开了两个额外的可观察数据:分数如何在反思轮次中演变,以及学到的技能在保留任务变体上的表现如何。我们报告了冷启动排行榜上 12 个 VLM 代理和 IDC 下的 4 个顶级代理的这些观察结果。