论文

从云到幻觉:遥感视觉语言 RAG 中的大气检索劫持

From Clouds to Hallucinations: Atmospheric Retrieval Hijacking in Remote Sensing Vision-Language RAG

模型评测安全与风险评测

摘要

多模态 RAG 系统越来越依赖视觉语言 检索器 在外部文本证据中进行视觉查询。现有的 RAG 对抗性研究主要操纵检索语料库或记忆,而对视觉语言和遥感模型的攻击通常针对最终任务预测。遥感多模式 RAG 证据检索阶段的输入空间威胁仍未得到充分研究。为了解决这个问题,我们引入了 CloudWeb,这是一种大气检索劫持攻击,它仅修改输入图像,同时保持 检索器、生成器和知识库在部署时固定。 CloudWeb 在遥感图像上叠加参数化的云和雾状模式,并通过面向检索的目标对其进行优化,将对抗性图像嵌入拉向目标大气证据,抑制源场景证据,强制等级分离,并规范自然度和覆盖范围。据我们所知,这是遥感多模态 RAG 中检索阶段大气证据劫持的第一项研究。我们在七个数据集遥感 RAG 基准上评估 CloudWeb,其中包含五个 CLIP 式 检索器,包括 GeoRSCLIP、RemoteCLIP、OpenAI CLIP 和 OpenCLIP,以及下游视觉语言生成器。在 检索器 中,CloudWeb 在将天气相关证据注入顶级结果方面始终优于干净检索、手工大气基线、随机云扰动和固定变体。在 GeoRSCLIP ViT-B/32 上,Weather@5 从 0.71% 增加到 43.29%。下游生成进一步显示可测量的天气幻觉和语义转变,表明检索阶段劫持可以传播到最终的 RAG 响应。这些发现揭示了一种实际的失败模式:看起来自然的大气变化可能会影响生成开始之前的证据检索。