论文

GHOST:用于高效 3D 重建的几何分层在线流词元驱逐

GHOST: Geometry-Hierarchical Online Streaming Token Eviction for Efficient 3D Reconstruction

模型推理KV Cache

摘要

从长单目视频序列进行流式 3D 重建需要维护一个随序列长度线性增长的键值 (KV) 缓存,从而造成严重的内存瓶颈。现有方法要么将缓存截断为一组固定的锚帧,导致重建质量下降,要么依赖与 3D 场景结构无关的注意力评分启发法,无法保留具有几何价值的标记。为了解决这些问题,我们提出了 GHOST(几何分层在线流词元驱逐),这是一个 无需训练 KV 缓存管理框架,它利用模型自己的 3D 几何输出来在线驱逐冗余词元。 GHOST 引入了三项相辅相成的创新:分层双层重要性评分方案、保护特殊词元不被驱逐的特权机制以及余弦相似性引导的逐层预算分配。各种基准测试的实验表明,与最先进的方法相比,GHOST 保留了出色的重建质量,同时将 KV 缓存减少了近一半,并且推理速度提高了 1.75 倍。我们的代码可在 https://github.com/lokiniuniu/GHOST 获取。