使用VLM标注电子游戏数据

视觉语言模型（VLMs）和人工智能代理在现实世界应用中革命性地改变了工程人员解决复杂问题的方式。然而，由于合成场景的极端多样性和与现实物理世界的不兼容性，AI代理在视频游戏中被限制使用。在这里，我们研究了使用VLMs为视频游戏帧序列标注奖励信号的任务，该任务具有多种潜在的应用，包括条件训练和离线强化学习。我们表明，VLM通常难以回答关于赛车类视频游戏的基本问题（尽管我们在其他游戏类型上观察到相似的行为），并讨论了诸如VLM输出混合和提示优化等应对措施。此外，我们还展示了输入序列长度、分辨率和问题分组对标注质量和其令牌消耗的影响。