论文
TAS-LoRA：Transformer 混合 LoRA 专家的架构搜索
TAS-LoRA: Transformer Architecture Search with Mixture-of-LoRA Experts
摘要
Transformer架构搜索（TAS）自动发现最佳视觉Transformer（ViT）架构，减少人工设计ViT的工作量。然而，现有的 TAS 方法存在特征崩溃问题，即超网中的子网无法学习子网特定的特征，这主要是由于超网中的共享权重限制了各个子网的性能。为了解决这个问题，我们提出了 TAS-LoRA，这是一种引入参数高效低秩自适应（LoRA）的新方法，以实现子网特定的特征学习，同时保持计算效率。 TAS-LoRA 采用了 LoRAExperts 混合 (MoLE) 策略，其中轻量级路由器根据子网架构动态分配 LoRA 专家，并引入分组路由器初始化技术，以鼓励专家在训练早期学习不同的特征。在 ImageNet 和多个迁移学习基准（包括 CIFAR-10/100、Flowers、CARS 和 INAT-19）上进行的大量实验表明，TAS-LoRA 可以有效缓解特征崩溃，与最先进的 TAS 方法相比，性能显着提高。