论文

Aperture:免训练的遥感多尺度概念瓶颈

Aperture: Training-Free Multiscale Concept Bottlenecks for Remote Sensing

模型推理推理策略与问题分解

摘要

地球观测模型虽然取得了显著进展,但仍缺乏可解释性。概念瓶颈模型提供可解释性和专家交互能力,但在遥感领域训练成本过高,或在没有标注时表现较差。我们认为,在遥感等专业领域,免训练模型需要同时保留图像空间与概念空间的细节。在图像空间,我们提出多尺度概念瓶颈,使用贪心四叉树路由定位小尺度概念。在概念空间,我们用预训练多模态大语言模型替代对比视觉语言模型,并提出获得可靠概念分数的方法。我们引入APERTURE,融合全局图像尺度与概念原生尺度的概念分数,实现领先的免训练模型性能。为测试这些模型,我们引入SiFC,一个横跨三个国家、以细粒度概念为中心的数据集,包含人工审阅的类别级概念图。在SiFC上,APERTURE的宏平均F1分数比最强免训练基线高出超过10个百分点,也优于有监督概念瓶颈模型。定向组件移除实验检查概念分数是否随视觉证据变化而响应;时间实验表明,更新描述词可在不重新训练的情况下改善对技术变化的识别。