RealtimeWAM：一步式异步世界操作模型

世界动作模型 (WAM) 结合了视频生成骨干模型的视觉表示来指导动作预测。最近的高效 WAM 采用混合变压器 (MoT) 架构并计算一次视频表示，供动作专家重复使用。然而，专家内部迭代（即多步动作去噪）和专家间等待（即视频和动作专家的顺序执行）仍然限制了推理效率。为此，我们推出了 RealtimeWAM，这是一种极其高效的 WAM 变体，具有一步操作生成和异步推理功能，可解决这两个瓶颈。为了减少专家内部迭代，我们提出教师模型锚定一致性蒸馏（TACD）来解决局部-全局误差差距：仅低局部一致性误差并不能保证准确的最终动作。 TACD 通过来自冻结的教师模型的多步执行轨迹端点的显式监督来补充本地一致性，从而实现准确的一步操作生成。此外，我们建议跨专家波前流水线（CEWP）来消除不必要的专家级等待。它通过视频 KV 缓存的块式共享来重叠两个专家，仅在相应的动作注意力消耗它之前立即同步。跨不同基准（例如 LIBERO、LIBERO-Plus 和 RoboTwin）和模型变体（例如 Fast-WAM 和 Faster-WAM）的广泛实验证明了 RealtimeWAM 的优越性。值得注意的是，RealtimeWAM 在这些基准测试中保持了近乎无损的性能（即 $<1\%$ 下降），同时提供了显着的端到端加速（例如 H100 上的 $\sim25\times$）。我们的代码和检查点可通过此 \href{https://github.com/ModelTC/LightX2V/tree/main/examples/realtimewam}{link} 获得。