了解无人机图像热带树种分类中跨尺度的表征差距

由于在典型图像分辨率（厘米/像素）下物种多样性较高且物种之间具有很强的视觉相似性，因此从无人飞行器（UAV）图像中对热带树种进行准确分类仍然具有挑战性。相比之下，使用智能手机拍摄的特写公民科学照片训练的模型实现了强大的植物物种分类性能。无人机数据采集的最新进展现在能够收集特写图像，这些图像在空间上与俯视航空图像进行配准，并接近智能手机照片中的视觉细节水平，但代价是无法为许多树木获取如此高分辨率的照片。在这项工作中，我们使用在物种丰富的热带森林中收集的配对俯视图和特写无人机图像来评估现有方法的性能。通过 微调 实验，我们量化了两种图像类型（高分辨率特写与粗分辨率顶视图图像）的视觉基础模型和域内通用植物识别模型之间的性能差距。我们表明，特写图像的分类性能始终高于俯视航空图像，并且对于稀有物种，这种性能差距会扩大。最后，我们提出，跨这两个空间尺度的自监督表示对齐提供了一种有前途的方法，可以将细粒度视觉信息集成到基于俯视无人机图像的冠层物种分类模型中。利用高分辨率特写无人机图像来增强冠层物种分类可以大大改善对热带森林生物多样性的大规模监测。