BlendFusion——用于扩散的可扩展合成数据生成 模型训练

随着扩散模型的快速采用，合成数据生成已成为满足大规模图像数据集不断增长的需求的一种有前景的方法。然而，纯粹由扩散模型生成的图像通常表现出视觉不一致，并且基于此类数据的训练模型可以创建导致模型崩溃的自噬反馈循环，通常称为模型自噬紊乱（MAD）。为了应对这些挑战，我们提出了 BlendFusion，这是一个可扩展的框架，用于使用路径跟踪从 3D 场景生成合成数据。我们的管道结合了以对象为中心的相机放置策略、强大的过滤机制和自动描述，以生成高质量的图像描述对。使用此管道，我们策划了 FineBLEND，这是一个由不同的 3D 场景集构建的图像描述数据集。我们根据经验分析 FineBLEND 的质量，并将其与几个广泛使用的图像描述数据集进行比较。我们还证明了以对象为中心的相机放置策略相对于与对象无关的采样方法的有效性。我们的开源框架专为高可配置性而设计，使社区能够从 3D 场景创建自己的数据集。