论文
范围:在 FPS 世界模型的可玩环境中模拟跨游戏操作
SCOPE: Simulating Cross-game Operations in Playable Environments for FPS World Models
摘要
第一人称射击 (FPS) 游戏的交互式世界模型必须解决每一帧的高频重叠控制信号,而不破坏未受影响的区域。现有的方法会在全局范围内注入动作并在单个标题上进行训练,但在密集的 FPS 输入下会失败。我们观察到 FPS 动作具有空间选择性:开火或重新装弹等离散事件仅影响武器周围的局部区域(瞄准镜),而连续的摄像机和运动信号则控制稳定的周围环境。我们提出了 SCOPE,它将调节模块插入到预训练视频扩散模型的每个 Transformer 块中。它将特征重塑为每像素时间序列,以便每个位置根据本地视觉内容计算其动作响应。这将范围内的效果与范围外的生成分开,而无需分段标签。我们还推出了 CrossFPS,这是第一个具有帧对齐动作遥测功能的多游戏 FPS 数据集。它包含来自 7 个游戏的 69K 个剪辑,带有 10-DoF 控制器信号,经过精心设计,旨在消除游戏玩法偏差。该模型学习一般的视觉到动作的映射,而不是特定于游戏的模式,从而实现零镜头传输到未见过的场景。实验证实了强大的动作响应能力、精确的范围分离和有效的跨游戏泛化。