SEATrack：简单、高效、自适应的多模式跟踪器

多模态跟踪中的参数高效 微调 (PEFT) 揭示了一个令人担忧的趋势，即最近的性能提升往往是以参数预算膨胀为代价来实现的，这从根本上削弱了 PEFT 的效率承诺。在这项工作中，我们介绍了 SEATrack，这是一种简单、高效、自适应的双流多模式跟踪器，它从两个互补的角度解决了这种性能效率困境。我们首先优先考虑匹配响应的跨模式对齐，这是一个尚未充分探索但关键的因素，我们认为它对于打破权衡至关重要。具体来说，我们观察到现有双流方法中特定于模态的偏差会产生冲突的匹配注意图，从而阻碍有效的联合表示学习。为了缓解这一问题，我们提出了 AMG-LoRA，它将用于领域适应的低秩适应 (LoRA) 与自适应相互指导 (AMG) 无缝集成，以动态细化和调整跨模态的注意力图。然后，我们通过引入专家分层混合（HMoE）来摆脱传统的局部融合方法，该方法可以实现高效的全局关系建模，有效平衡跨模态融合的表达能力和计算效率。凭借这些创新，SEATrack 在平衡 RGB-T、RGB-D 和 RGB-E 跟踪任务的性能与效率方面比最先进的方法取得了显着进步。 \href{https://github.com/AutoLab-SAI-SJTU/SEATrack}{\textcolor{cyan}{代码可用}}。