论文

ActionSplice:交互式世界模型的飞行动作编辑

ActionSplice: In-Flight Action Editing for Interactive World Models

模型推理解码与生成控制

摘要

块自回归视频世界模型通常根据一个动作来调节每个生成的块。因此,采样期间收到的操作必须等待下一个块,根据前一个操作生成的状态来确定未来求解器的评估,或者触发重复已完成评估的回滚。我们引入了 ActionSplice,一个推理框架,它将这个问题表述为反事实状态传输(CST)。轻量级校正器将中断的骨干本机表示传输到由同一求解器步骤中的修订操作引起的匹配状态。世界模型和采样器保持冻结状态,并且采样恢复而不重播已完成的评估。重定向变体 $\mathrm{CST}*{R}$ 更新整个活动块,而时间拼接变体 $\mathrm{CST}*{T}$ 保留时间前缀并仅更新后缀。在 minWM-Wan Action2V 和 HY-WM1.5 中,相对于直接条件交换,$\mathrm{CST}*{R}$ 将回滚相关 LPIPS 减少了 61.5% 和 75.9%。 $\mathrm{CST}*{T}$ 分别将后缀 LPIPS 减少了 56.1% 和 77.5%,同时在等待期间提供 $2.73\times$ 和 $1.69\times$ 像素就绪加速。在 HY-WorldPlay 协议下,与原始部署相比,$\mathrm{CST}_{R}$ 获得了 25.66 dB 的 PSNR、0.6902 的 SSIM 和 0.1337 的 LPIPS。