论文

SpectralCache:谱特征缓存加速扩散世界模型

SpectralCache: Accelerating Diffusion-Based World Models via Spectral Feature Caching

模型推理推理加速

摘要

基于扩散的世界模型支持高质量交互环境生成,但因去噪中重复Transformer评估而有大量推理开销。现有缓存方法主要利用特征或token级的时间冗余,对扩散特征的底层数学结构探索不足。本工作揭示:世界模型特征在相邻去噪步间表现出高度稳定的奇异子空间,其奇异值遵循可预测的演化模式。基于该观察,我们提出训练自由的谱缓存框架SpectralCache:复用稳定的奇异子空间,仅通过线性外推估计低维奇异值;进一步利用相邻全计算特征间的谱一致性,经奇异值缩放跳过部分昂贵骨干评估。在代表性世界模型上的大量实验表明SpectralCache持续改善推理效率并保持生成质量:HunyuanWorld-Voyager-13B上实现5.22倍加速且静态场景WorldScore保持65.90,推理效率大幅优于现有训练自由缓存方法。