LUMA：通过轻量级通用掩模适配器进行基准分割

比较用于图像分割的 Transformer 主干网是令人困惑的：每个主干网都与不同的解码器、配方和预训练配对，因此报告的差异很少反映主干网本身。我们引入了轻量级通用掩码适配器（LUMA），这是一种轻量级的、与主干无关的掩码 Transformer 头，它将任何主干视为黑盒特征提取器，让一组查询通过廉价的交叉注意力从其特征中读取。 LUMA 以更低的成本与 EoMT（最先进的高效 ViT 分段器）的准确性相匹配，同时将不变地附加到各向同性、分层、卷积和混合专家骨干网等。固定这个头，我们在一个现代配方下对 ADE20K 和 Cityscapes 上的 20 个主干网、11 个预训练方案和一系列分辨率进行基准测试。我们发现“高效”的词元混合器即使在激励它们的高分辨率下也无法提供效率，而普通 ViT 在每个分辨率下都保持着帕累托前沿的吞吐量。此外，控制分割质量的是预训练目标，而不是架构，即该领域最难调整的杠杆。