LOLPlay在实时游戏中评估视觉Agent，更多推理未改善任务表现

视觉代理需要协调推理和行动，同时推理过程中环境也会发生变化。我们推出了 LOLPlay，这是原版\emph{英雄联盟}游戏 的基准，具有 36 个英雄专属任务，涵盖资源管理、战斗、合作和目标。代理通过屏幕截图和鼠标键盘操作进行交互；自动初始化和 82 个可执行子目标检查可区分部分进度和完成情况。 在三种模型、三档推理投入的324次任务评测中，GPT-6 Astra在低、中投入下取得最高25.0\%的任务成功率，并在中投入下取得最高40.3\%的子目标成功率。然而，对于任何模型来说，高推理投入都不会比低推理投入改善这两个指标。对于 Astra 来说，较长的请求会导致较少的交互轮次，这表明实时控制中额外推理的成本。 轨迹显示，Agent未能完整组合子目标，部分动作执行时观察到的场景已经变化，因此需要将视觉推理与及时行动结合。