论文
用于实例分割任务的大型预训练模型的参数高效 微调
Parameter-Efficient Fine-Tuning of Large Pretrained Models for Instance Segmentation Tasks
摘要
随着大型预训练模型的兴起，人工智能的研究和应用最近发生了变化，这些模型在众多任务中提供了最先进的结果。然而，参数的大幅增加需要参数高效的训练策略。尽管取得了重大进展，但有限的研究在基于 Transformer 的实例分割模型的背景下探索了参数高效的 微调 (PEFT) 方法。为了解决这一差距，本研究调查了 PEFT 方法的有效性，特别是适配器和低秩适应 (LoRA)，应用于四个基准数据集的两个模型。集成顺序排列的适配器模块并将 LoRA 应用于可变形注意力（在此首次进行探索）实现了具有竞争力的性能，而 微调 仅需要约 1-6% 的模型参数，比传统 微调 所需的 40-55% 有了显着改进。主要研究结果表明，每个 Transformer 块使用 2-3 个适配器可实现性能和效率的最佳平衡。此外，LoRA 在应用于可变形注意力时表现出很强的参数效率，并且在某些情况下超越了适配器配置。这些结果表明，PEFT 技术的影响因数据集复杂性和模型架构而异，强调了上下文特定调整的重要性。总的来说，这项工作展示了 PEFT 在实例分割任务中实现可扩展、可定制和计算高效的迁移学习的潜力。