论文
通过提示在轨航天器检查来扩展视觉语言模型的发射后功能
Post-Launch Capability Expansion of Vision-Language Models via Prompting for On-Orbit Spacecraft Inspection
摘要
星载检查系统通常在发射前部署感知模型，之后更新模型权重或扩展固定标签集在操作上变得不切实际。虽然监督模型可以在飞行前集成，但在轨道上添加新的语义功能需要重新训练和重新上传参数。我们研究提示驱动的视觉语言模型是否可以实现发射后语义扩展，从而允许通过自然语言提示指定新的航天器组件，而无需修改机载模型权重。我们在严格冻结的单通道推理协议下，在129张未见卫星图像组成的测试集上评估了航天器组件的零样本实例分割。在固定的全局阈值和无后处理的情况下，SAM3 达到 $0.385$ mAP@$0.5$ 和 $0.267$ mAP@$0.5{:}0.95$。性能在很大程度上依赖于尺度：航天器主体（$0.639$ AP@$0.50$）和太阳能电池阵列（$0.598$ AP@$0.5$）等大型结构元件能够可靠地定位，而天线（$0.221$ AP@$0.5$）和推进器（$0.081$ AP@$0.5$）等相对较小的附件仍然很困难。提示表述会影响性能，与短类别名称提示相比，包含空间和几何描述符的结构化提示可带来高达 82% 的改进。该模型在当代嵌入式 GPU 的内存和计算范围内运行，这表明提示驱动的定位可以为主要航天器结构的发射后语义扩展提供实用的机制，同时强调轨道域偏移下精细尺度组件的零射击定位的局限性。