论文
C³ache:跨推理片段缓存加速世界动作模型
C$^3$ache: Accelerating World Action Models with Cross Inference Chunk Cache
摘要
世界动作模型 (WAM) 比标准视觉-语言-动作 (VLA) 策略更好地泛化到新的运动和环境,因为视频建模目标可以让它们从大量未标记的视频中学习,而不是从稀缺的标记机器人演示中学习。这种泛化的计算成本很高。为了完成任务,WAM 在多个推理块上运行,每个推理块都需要昂贵的去噪过程。现有的加速方法通过在单个块的去噪轨迹内缓存和重用计算来降低这种成本。我们的实证分析揭示了他们忽视的冗余的重要来源:跨块的冗余。当机器人执行平滑行为时,在给定的去噪步骤中计算的残差从一个块到下一个块是强相关的。我们引入了 C$^3$ache,这是一种 无需训练 方法,可以在同一去噪步骤中跨推理块缓存和重用这些残差。使用 Fast-WAM 主干进行的基准测试实验表明,C$^3$ache 在总实际推理耗时方面实现了高达 $2.5\times$ 的加速,而任务成功率的下降可以忽略不计。