论文
CtrlCache:控制感知缓存加速交互视频世界模型
CtrlCache: Accelerating Interactive Video World Models with Control-Aware Caching
摘要
交互视频世界模型需高效生成每块并忠实响应控制。分块自回归和少步去噪仍有多次昂贵迭代;已有免训练缓存主要依据内部去噪动态,不显式处理控制变化。控制信号在去噪前已到达,因此按它调度不需额外前向计算。我们发现动作变化附近结构相似性下降,低频结构比高频细节更持久,提出免训练控制感知CtrlCache。调度与刷新策略检测块间及块内动作变化,将块分为初始、过渡、转向、稳定。在选定中间去噪步,初始与过渡完整计算,转向与稳定复用同块最近完整计算步的Transformer残差。稳定交互中,再以频率混合历史先验引导利用前一干净潜变量的互补信息,无需额外DiT前向。在Matrix-Game2.0和LingBot-World v1/v2上,无需重训,DiT骨干加速1.21—1.41倍,三模型的WBench总体分均高于原推理。
