MuRA：多等级适应，实现高效且有效的测试时视觉语言泛化

视觉语言模型表现出显着的零样本能力，但在分布变化下性能会显着下降。虽然通过低秩适应的测试时适应（TTA）提供了一种参数有效的解决方案，但我们发现了当前方法的一个基本瓶颈：对静态秩配置的依赖。由于视觉输入本质上具有不同的信息密度，固定的排名迫使不可避免的优化妥协，导致复杂场景的拟合不足和简单场景的过度拟合。为了弥补这一差距，我们提出了多等级适应（MuRA），这是一种新颖的框架，可以根据 词元级 视觉复杂性动态选择和融合不同容量的适应模块。 MuRA 协同多秩正交分解，提供卓越的知识保留初始化，以及具有连续路由器更新的统一组件融合，以可持续地学习语义到秩映射。此外，我们提供了严格的理论论证，从数学上证明了这种自适应机制的必要性和梯度稳定性。至关重要的是，MuRA 的动态设计利用最短的梯度反向传播路径，在最深层的视觉层中独特地蓬勃发展。大量实验表明，MuRA 在广泛的领域泛化和跨数据集基准测试中实现了最先进的准确性，同时显着降低了计算和内存开销。