Waypoint-1.5：消费类硬件的实时视频世界模型

我们推出了 Waypoint 1.5，这是一种用于在消费级硬件上生成交互式视频的实时扩散世界模型。与一般视频扩散模型不同，交互式世界模型（iWM）必须在严格的延迟和吞吐量限制下响应密集的用户控制。 Waypoint 1.5 针对数百款游戏的 100,000 小时多样化、控制对齐的视频游戏数据进行了预训练，并生成基于完整键盘和鼠标输入的可播放视频。该模型包括两种分辨率变体，可在各种消费类硬件上运行。为了描述这种独特的设置，我们区分了渲染 FPS、潜在 FPS 和控制率。我们描述了 Waypoint 1.5 背后的数据管道、架构、训练方法和运行时系统。我们通过延迟和吞吐量来评估交互性。最后，我们讨论 iWM 特有的安全和道德考虑因素。