Spike-NVPT：通过仿生时间过滤和离散化学习鲁棒的视觉提示

预训练的视觉模型已在不同领域得到广泛应用。基于即时调整的方法已成为适应预训练视觉模型的参数有效范例。虽然在标准基准上有效，但学习提示的连续性和密集性可能会导致对输入噪声的敏感性，因为大容量提示往往会过度拟合与任务无关的细节。为了解决这种权衡问题，我们提出了 Spike-NVPT，一种抗噪声视觉提示调整方法。具体来说，我们设计了一个基于尖峰神经元的信号过滤层，它使用积分和触发（IF）机制随着时间的推移积累与任务相关的信号并过滤瞬态噪声波动。随后的尖峰离散化单元将过滤后的信号转换为稀疏的二进制提示。这种离散化充当强大的正则化器，迫使模型将决策边界锚定在最具辨别力和鲁棒性的特征上。值得注意的是，生成的二进制提示在部署期间保持静态，确保推理期间的额外计算开销为零。实验结果表明，Spike-NVPT 实现了卓越的鲁棒性性能，比传统方法最大提高了 11.2%，并且在干净数据集上保持了有竞争力的准确性。据我们所知，这是首次尝试将尖峰神经元用于 微调 传统的基于人工神经网络 (ANN) 的视觉模型。