用于调整 3D 基础模型的无适配器 微调 方法

点云基础模型表现出很强的通用性，但在低数据情况下使它们适应下游任务仍然具有挑战性。完整的 微调 通常会导致过度拟合以及与预训练表示的显着偏差，而现有的参数高效 微调 (PEFT) 方法通过引入额外的可训练组件来缓解此问题，但代价是增加推理时间延迟。我们提出了动量一致性 微调 (MCFT)，这是一种无适配器方法，弥补了完全高效和参数高效 微调 之间的差距。 MCFT 有选择地微调预训练编码器的一部分，同时强制执行基于动量的一致性约束以保留与任务无关的表示。与 PEFT 方法不同，MCFT 除了标准任务头之外没有引入额外的表示学习参数，保持了原始模型的参数计数和推理效率。我们进一步用两个变体扩展了 MCFT：一个半监督框架，利用大量未标记数据来增强小样本性能；以及一个基于剪枝的变体，通过去除结构化层来提高计算效率。关于对象识别和零件分割基准的大量实验表明，MCFT 始终优于先前的方法，在 5 次设置中实现了 3.30% 的增益，在半监督学习中实现了高达 6.13% 的改进，同时仍然非常适合资源受限的部署。