MobileSAM2：空间智能的轻量级分段

最近的大型视频基础模型 SAM2 可以对图像和视频中的任何内容进行分割，成为各种应用程序的强大基础模型。然而，许多此类用例需要在移动电话和笔记本电脑等资源受限的设备上运行。在这项工作中，我们的目标是通过将重量级 SAM2 提炼为轻量级模型，使 SAM2 更加适合移动设备，从而促进移动设备上图像和视频中的任何内容的分割。为此，我们提出了超图知识蒸馏（HyperKD），它将超图的思想引入到知识蒸馏中，旨在有效地建模和迁移SAM2的可泛化和综合知识。 HyperKD 由 Temporal HyperKD 和 Granularity HyperKD 组成，它们构造超图，分别从 SAM2 中显式建模和提取可概括的时间知识和综合多粒度知识，然后通过与构造的超图对齐将其提炼为轻量级学生模型。此外，我们还推出了 MobileSAM2，这是一个新的轻量级 SAM2 系列，它通过在模型尺寸缩小过程中使用 HyperKD 搜索最佳模型架构来平衡效率和效果。广泛的实验在多个基准上验证了 MobileSAM2，并在具体的 AI 任务上展示了有前景的泛化性能。