论文
HiddenObjects:用于对象放置的可扩展扩散蒸馏空间先验
HiddenObjects: Scalable Diffusion-Distilled Spatial Priors for Object Placement
摘要
我们提出了一种通过提取文本条件扩散模型中编码的隐式放置知识来学习自然场景中对象放置的显式、类条件空间先验的方法。先前的工作要么依赖于手动注释的数据,其本质上在规模上受到限制,要么依赖于基于修复的对象删除管道,其工件促进了快捷学习。为了解决这些限制,我们引入了一个完全自动化且可扩展的框架,该框架使用基于扩散的修复管道来评估高质量真实背景上的密集对象放置。通过这个管道,我们构建了 HiddenObjects,这是一个包含 2700 万个位置注释的大型数据集,在 27k 个不同场景中进行评估,并对不同图像和对象类别的边界框插入进行排序。实验结果表明,我们的空间先验在下游图像编辑任务上优于稀疏人类注释(3.90 vs. 2.68 VLM-Judge),并且显着超过现有的放置基线和用于对象放置的零样本视觉语言模型。此外,我们将这些先验提炼成轻量级模型,以实现快速实际推理(速度快 230,000 倍)。