当适应失败时：视觉语言提示学习中崩溃门控的基于梯度的诊断

自适应提示机制已被提出，通过动态定制输入提示来增强视觉语言模型。然而，在使用 CLIP 式主干的冻结少样本提示学习中，我们系统地观察到自适应门和提示选择模块经常崩溃：它们产生几乎恒定的输出，贡献可忽略不计的梯度信号，并且经常无法超越固定提示。为了进一步探讨这个问题，我们提出了一项系统的诊断研究，以揭示适应失败的根本原因和条件。通过跨数据集和多个即时学习架构的受控实验，我们确定了两种反复出现的故障模式：梯度幅度不平衡和门退化。我们的研究结果引发了对参数高效学习中不加区别地增加架构复杂性的重新审视，并澄清了即时级自适应门控在这种情况下何时有效、何时无效。