论文

CETUS:地球预训练表征迁移到土卫六 SAR

CETUS: How Far Do Representations Trained on Earth Transfer to Cassini SAR of Titan?

模型评测模型能力评测

摘要

卡西尼号合成孔径雷达 (SAR) 图像揭示了土卫六的沙丘、平原和湖盆,为行星地形分类提供了从地球图像中学习的表示实例。使用 SAR 进行地球到泰坦传输的跨域评估 (CETUS) 将 DINOv2、DOFA 和 CROMA 的特征与美国地质调查局卡西尼 SAR 镶嵌图上未经训练的视觉变换器的经典图像测量和特征进行比较。分类器从专家地貌地图中学习地形标签,并预测地理上独立的泰坦区域中的这些标签。在逻辑回归设置下,预训练编码器比组合经典特征实现更高的平均宏 F1。当特征缩放、优化和正则化同时变化时,编码器排名也会发生变化。 Titan 上的训练进一步提高了 DINOv2 性能,降低了 DOFA 性能,并导致在测试设置下的 CROMA 结果好坏参半。架构和输入处理差异导致这些比较无法隔离预训练的效果。在评估行星测绘的表示传输时,各个地形类别的分类器拟合和性能很重要。由于该地图部分借鉴了相同的雷达观测结果,因此分数与专家的解释一致。

CETUS:地球预训练表征迁移到土卫六 SAR:论文原图
图 1:Titan 测试图像及其地图标签。对于每个类,示例是模态图分数最接近测试集中该类中值的测试图块;磁贴 ID 打破了联系。混合示例在模态类占据有效地图样本不到一半的测试图块中遵循相同的规则。每张图像覆盖 45 公里 x 45 公里。地图和 SAR 百分比使用单独的有效性掩码。亮度涵盖每张图像有限正显示 DN 的第 2 个百分位数至第 98 个百分位数。由于每个图像都有自己的拉伸,因此子图之间的亮度差异没有共同的辐射尺度。这些示例说明了此采样规则产生的图像和标签混合;对它们的代表性进行地质评估需要专家的解释。