AC3S：用于 3D 感知合成数据生成的自适应调节

合成数据生成已成为提高计算机视觉数据可扩展性的强大工具。最近的基于扩散的管道表现出了很强的照片真实感。然而，如何在生成的图像中强制执行精确的 3D 结构和姿势一致性仍然具有挑战性。现有方法利用边缘图等视觉提示来指导扩散模型，但经常会受到过度调节伪影的影响，从而降低图像真实感并限制数据集质量。在本文中，我们提出了一种基于扩散的图像生成框架，该框架强制 3D 结构对齐，同时通过自适应条件保持照片真实感。我们的框架“3D 感知合成数据生成的自适应调节”(AC3S) 引入了一种自监督视觉提示调制器，可以动态调整 ControlNet 调节的强度，防止过度调节并使扩散模型保持其生成表达能力。为了进一步增强多样性和语义一致性，我们开发了一个多智能体视觉语言模型框架，该框架组成与底层几何结构一致的详细且 3D 感知的提示。这些组件共同支持可扩展地生成具有准确 2D 和 3D 注释的高质量合成数据集。大量的实验表明，我们的方法显着提高了图像质量和下游实用性。