论文

SKIP:以稀疏关键帧插值加速具身世界模型

SKIP: Sparse Keyframe Interpolation Paradigm for Efficient Embodied World Models

模型推理推理加速

摘要

通过预测机器人行为如何影响周围场景,具身世界模型已成为机器人技术中一个有前途的范例。然而,轨迹预测推理在像素空间中的计算成本仍然很高,因为长视界操作视频通常必须逐帧生成。这种成本无法通过不加区别地丢弃帧来轻松降低,因为下游策略依赖于稀疏任务相关事件(例如接近、接触、抓取和释放)的完全保存。为了应对这一挑战,我们提出了稀疏关键帧插值范式(SKIP),这是一种事件保留的稀疏到密集框架,可以避免密集的逐帧生成。 SKIP 首先利用机器人感知的多模式功能来识别与任务相关的关键帧。然后,它仅使用稀疏视频扩散模型合成这些关键帧。随后,学习间隙预测器和动作条件插值器根据机器人动作重建缺失的间隔。在 LIBERO 上,SKIP 生成密集预测轨迹的速度比密集基线快 4.16 倍,同时提高了视觉保真度并将总 FVD 减少了 89.0%。重要的是,SKIP 生成的视频是有效的政策训练数据。即使它们完全取代了真实的演示,在 LIBERO 模拟中,$π_{0.5}$ 的成功率也仅下降了 $1.3$ pp,在真实机器人上仅下降了 $6.7$ pp,而完全密集的逐帧生成则下降了 $48$ 至 $58$ pp。