论文
Mantis:Mamba 原生调整对于 3D 点云基础模型非常有效
Mantis: Mamba-native Tuning is Efficient for 3D Point Cloud Foundation Models
摘要
预训练的 3D 点云基础模型 (PFM) 已表现出跨不同下游任务的强大可移植性。然而,完整的 微调 这些模型的计算成本很高且存储密集。参数高效的 微调 (PEFT) 提供了一种有前途的替代方案,但现有的 PEFT 方法主要是为基于 Transformer 的骨干网设计的,并且依赖于 词元级 提示或特征转换。基于 Mamba 的主干在 词元级 适应和状态级序列动态之间引入了粒度不匹配。因此,将现有 PEFT 方法直接转移到冻结的 Mamba 主干会导致精度大幅下降和优化不稳定。为了解决这个问题,我们提出了 Mantis,这是第一个用于 3D PFM 的 Mamba 原生 PEFT 框架。具体来说,引入了状态感知适配器(SAA),将轻量级任务条件控制信号注入选择性状态空间更新中,从而实现状态级适应,同时保持预训练骨干网冻结。此外,不同的有效点云序列化通过双序列化一致性蒸馏(DSCD)进行正则化,从而减少序列化引起的不稳定性。跨多个基准的大量实验表明,Mantis 在训练不到 5% 的主干参数的情况下实现了有竞争力的性能。