DenseControl：密集人群图像的实例级可控合成

在本文中，我们介绍了 DenseControl，一种用于生成密集人群图像的新颖管道。具体来说，DenseControl 精心定位每个生成的实例并调整其大小，以与预定义的坐标和比例精确对齐。在此基础上，我们进一步允许对实例的背景、样式和属性进行控制。 DenseControl 背后的动机源于对合成人群图像中两个主要挑战的观察：控制信号嵌入和在传递实例规模指导时保持拓扑完整性。为了解决这些问题，我们首先引入孤立对象嵌入（IOE）图，这是一种新颖的表示形式，可以促进空间位置控制，同时减轻与模型学习投影相关的困难。其次，我们提出了一种隐式尺度嵌入（ISE）策略，该策略与 IOE 图无缝集成以编码精确的尺度信息。为了进一步增强 ISE 与 IOE 地图相结合的功效，我们采用了一种位置快捷方式机制，可以增强交叉注意力以缓解投影挑战。我们通过两个角度评估 DenseControl：合成质量和潜在应用中的适用性。不同控制条件下的实验表明，DenseControl 在密集人群图像合成中取得了最先进的结果。此外，我们还展示了在数据稀缺、迁移学习和天气泛化场景下增强人群分析的应用，以突出 DenseControl 的实用性。代码库将被发布。