超越边缘图：多适配器地图到卫星扩散的小波域调节

资源匮乏地区往往无法建立商业测绘合作伙伴关系，导致卫星底图陈旧，并促使人们从独立维护的制图数据中合成卫星图像。现有的基于 ControlNet 的扩散方法通常以从目标图像本身提取的边缘或分割等结构信号为条件，假设图像已经存在，并在合成最重要的地方限制其使用。地图条件替代方案添加了边缘检测等线索，但省略了频域结构。我们提出了一种基于 ControlNet 的扩散框架，仅以独立于目标图像获得的制图源为条件：OpenStreetMap (OSM) 栅格地图及其固定小波变换 (SWT) 子带，这是以前未探索过的地图到卫星扩散的调节信号。两个 ControlNet 适配器分别在冻结的稳定扩散主干上的地图和小波表示上进行训练，通过 MultiControlNet 进行融合，共同绘制空间结构和频率细节，而无需重新训练多输入模型。我们评估了为尼泊尔（一个数据稀缺、地形多样化的地区）策划的新配对地图卫星数据集以及 Pix2Pix 地图卫星基准。组合调节赢得了八个度量数据集比较中的六个——两个数据集上的 SSIM 和 PSNR，加上我们数据集上的 LPIPS（Alex 和 VGG 主干网），以及两个 Pix2Pix LPIPS 主干网上的仅地图，同时仍然超过了仅小波。仅小波在两个数据集上采用最低的 FID，匹配每图像保真度和分布真实性之间的权衡。鉴于我们适度的测试集大小和 FID 已知的小样本偏差，我们谨慎对待这一差距。