超越低秩：通过尖峰神经网络和提示分解进行低秩稀疏提示

视觉提示（VP）已成为一种有效的范例，通过在输入级别结合可学习的提示，使大规模预训练视觉模型适应下游任务。然而，现有的 VP 方法通常采用密集的像素级提示，这通常会遭受冗余扰动、有限的泛化和能量效率低下的困扰。为了克服这些限制，我们建议将受大脑启发的尖峰学习整合到视觉提示学习任务中。我们知道，尖峰神经元可以通过将输入数据传输到离散的尖峰序列并返回稀疏输出来执行廉价的信息处理。受此启发，我们提出了 \textbf{Lo}w-\textbf{R}ank Visual \textbf{S}pike \textbf{P}rompting (LoRSP)，这是一种新颖的框架，可以通过尖峰神经元学习机制自然地学习动态低秩稀疏视觉提示。 LoRSP的核心思想是利用受大脑启发的尖峰神经元稀疏放电机制，为每个实例生成像素级稀疏提示。具体来说，我们首先通过低秩分解构造一系列提示因子，以捕获不同的提示子空间。然后，这些提示因素被输入到 SNN 架构中，该架构执行集成和激发过程以发出尖峰。因此，我们的 LoRSP 会生成 \emph{sparse} 视觉提示，同时保持低秩约束。这种设计可以实现特定于实例的选择性提示，从而在不同的下游任务中实现更紧凑、更强大的适应。对五个异构视觉主干和多个基准的大量实验表明，与现有 VP 方法相比，LoRSP 实现了有竞争力的性能，同时需要更少的可调参数。