SWARD：用于跨架构语义分割的基于随机窗口注意的关系 蒸馏

大规模视觉基础模型在语义分割等密集预测任务上取得了巨大进展，但它们的规模使得在资源有限的环境中部署不切实际，这促使 知识蒸馏 作为将其能力转移到轻量级学生网络的一种手段。然而，现代基础教师主要是基于 Transformer 的编码全局上下文，而高效的学生通常是具有局部偏置感受野的卷积网络。现有的 蒸馏 方法在很大程度上假设架构同质性并依赖于直接特征模仿，这无法弥合这种表示差距，并且忽略了精确语义分割所需的结构化空间依赖性和判别性组织。在本文中，我们提出了 SWARD，这是一个 知识蒸馏 框架，它通过两种互补机制来解决这一差距。首先，我们引入了多尺度窗口注意力 蒸馏 (MWAD) 模块，该模块在随机移动的窗口分区内对齐基于师生注意力的关系，其偏移量在每次训练迭代时随机重新采样。这消除了窗口边界偏差，并与多尺度设计相结合，捕获了短程和长程空间依赖性。其次，我们引入了原型判别正则化（PDR），这是一种通过强制类间分离和类内紧凑性来帮助塑造学生特征分布的损失，进一步锐化判别结构，超出了在学生能力下降的情况下仅通过特征模仿所能产生的结果。不同视觉应用（即城市场景解析和医学图像分割）的实验表明，SWARD 实现了最先进的性能。