用于稳健点云分类的点选择 微调 框架

嘈杂和损坏的点会大大降低点云识别性能，特别是在具有挑战性的损坏设置下。特别是，3D 预训练模型的完整 微调 可能会放大异常值的影响并覆盖在 预训练 期间学习的鲁棒性先验，而朴素的参数高效自适应仍然对损坏的词元敏感。为了解决这个问题，我们提出了 PSFT，这是一种点选择 微调 框架，可以在保持参数效率的同时提高鲁棒性。 PSFT 首先估计预池化特征的逐点影响，并自适应地保留最小影响点以抑制异常值。根据选定的子集，提示生成分支会预测分层提示标记，并将它们注入到冻结的主干中，以进行轻量级的下游适应。为了进一步减轻选择后的残余噪声，我们附加了一个具有瓶颈 MLP 变换和 Beta 门控残余混合的轻量级特征滤波器，以在预测之前细化补丁标记表示。大量实验表明，PSFT 一致地减少了所有测试的 3D 预训练主干上 ModelNet-C 和 ModelNet40-C 上的损坏错误，同时在评估的调整策略中使用 ULIP-2 和 Uni3D-B 实现了最强的 ScanObjectNN-C 结果。我们的实现可以在 https://github.com/CVChMA/PSFT/tree/master 找到。