论文

TerraDiT-$Ω$:使用任何地理空间基元进行卫星图像合成的统一空间控制

TerraDiT-$Ω$: Unified Spatial Control for Satellite Image Synthesis with Any Geospatial Primitive

应用与实践内容创作

摘要

生成模型已经取得了显着的进步,但将其应用于卫星图像仍然具有挑战性。与自然图像不同,卫星场景由空间复杂且语义不同的几何结构构成。先前的工作通过使用密集光栅或稀疏提示来适应自然图像框架来解决这种复杂性,权衡注释成本和保真度,同时破坏与通常用于表示地理信息的矢量基元的兼容性。我们引入了 TerraDiT-$Ω$,这是一个统一的空间控制框架,可以直接从任何本地地理空间基元生成卫星图像。通过联合利用精确注释(多边形、折线)和较粗略注释(边界框、点),该模型支持不同注释预算的可控布局,扩大了城市规划等设计任务的适用性,同时保持与端到端 GeoAI 工作流程的自然兼容。为了在生成过程中有效地利用这些基元,我们提出了几何感知局部注意,这是一种将显式几何线索注入注意空间的调节机制。在所有调节格式中,我们的方法始终优于密集控制和稀疏控制基线。此外,这种灵活性使得能够使用单个生成模型进行可控的合成数据增强,从而提高土地覆盖分割、对象检测、道路图提取和场景分类方面的下游性能。代码、数据和权重可在 https://github.com/mvrl/TerraDiT 获取。