Spectral Vision Transformer 用于在有限数据下进行高效标记化

我们提出了一种新颖的光谱视觉 Transformer 架构，用于在有限数据中进行高效标记化，重点是医学成像。我们概述了由于选择基础而产生的方便的理论特性，包括空间不变性和最佳信噪比。我们发现，与空间视觉 Transformer 相比，光谱投影的复杂性降低了。与各种模型（包括紧凑型和标准视觉 Transformer、具有注意力的卷积神经网络、移位窗口 Transformer、多层感知器和逻辑回归）相比，我们以减少的参数数量表现出相当或优越的性能。我们在分析中包含模拟、公共和临床数据，并在以下位置发布我们的代码：\verb+github.com/agr78/spectralViT+。