论文

面向遥感的真实世界知识引导变化数据合成

Real-World Knowledge-Guided Change Data Synthesis for Remote Sensing

模型训练合成数据

摘要

变化数据合成为扩充训练数据、提升变化检测模型性能提供了一种高性价比方案。然而,现有合成方法通常依赖手工规则来模拟变化,类别转变的覆盖有限,限制了合成数据的多样性,而预定义的转变设计也限制了其适应多样变化类型的灵活性。在这项工作中,我们提出KnowChange,一个知识引导的变化数据合成框架,它利用预训练视觉-语言模型作为知识源,从变化前场景和期望的变化类型推理出合理的变化位置和类别转变。通过将知识引导的变化模拟与可泛化的合成模型相结合,KnowChange能够在统一框架内灵活合成多样的变化类型。大量实验表明,尽管生成规模紧凑,KnowChange生成的数据在合成到真实迁移和合成数据增强两方面都持续优于现有合成数据集。进一步分析显示,知识引导的变化模拟可以无缝集成到现有合成流程中,并提升合成数据的下游效用。

面向遥感的真实世界知识引导变化数据合成:论文配图
图1:上:现有合成方法依赖手工规则模拟变化。类间转换的覆盖有限,限制了合成数据的多样性;预定义的转换设计限制了适应多样变化类型的灵活性。下:KnowChange利用预训练视觉-语言模型作为知识源,在给定变化前场景上下文与用户指定变化类型的情况下推理出合理的变化区域与类间转换,实现多样变化数据的灵活合成。