JEDI：JEPA-to-Edge 蒸馏，用于根据卫星图像进行高效农田分割

大视觉模型为遥感分割提供了有用的表示，但对于在卫星或现场边缘部署来说通常过于昂贵。现有的特征级 蒸馏 方法也倾向于假设类似的教师和学生架构，并且通常在任务训练开始时停止特征对齐。我们引入了 JEDI (JEPA-to-Edge 蒸馏)，这是一个两阶段框架，可将表示从大型 I-JEPA Vision Transformer 教师转移到紧凑的 SegFormer 学生。首先，JEDI 使用跨架构投影和空间对齐将学生的终端表示与教师的词元空间对齐。然后，它联合优化监督分割、温度缩放响应 蒸馏 以及整个任务适应过程中的持久特征对齐。在 CalCROP21 上，JEDI-B0 使用 4.04M 参数实现了 68.0 平均交并集 (mIoU)，比独立学生提高了 16.0 分，与 639M 参数教师获得的 70.0 mIoU 相差不到 2.0 分。我们分别使用 4.04M、14.33M 和 28M 参数评估 SegFormer B0、B1 和 B2 学生。在所有三个变体中，JEDI 在相同的师生设置下始终优于响应、结构、通道和关系 蒸馏 基线。这些结果表明，持久表示对齐在积极压缩下特别有价值，可以显着减少模型大小和计算量，同时保持分割性能。