论文

PhysMirror:物理感知镜像对象生成

PhysMirror: Physics-Aware Mirror Object Generation

应用与实践内容创作

摘要

合成物理上精确的镜面反射仍然是现代文本到图像扩散模型的一个基本挑战,这对于生成具体人工智能和机器人感知的合成训练数据越来越重要。这些模型通常会受到严格的几何约束的影响,从而导致产生幻觉,从而降低合成数据的实用性。为了解决这个问题,我们引入了一种新颖的、端到端的物理感知生成框架,即 PhysMirror,它通过显式的 3D 空间先验来原生地强制投影几何。我们的方法自动将提示对象提升到 3D 网格中,并在模拟环境中构造一个轻量级、数学上精确的镜像场景。通过渲染这个显式的 3D 场景,我们提取精确的 2D 调节元素,例如深度图和分割图,它们作为下游扩散模型的强大指导信号,指导它们生成具有物理正确镜面反射的图像。此外,我们引入了镜像一致性评分(MCS),这是一种无参考、全自动的指标,它使用密集特征匹配和消失点收敛来量化物理正确性。我们新构建的 MirrOB 数据集的实验结果表明,我们的方法在反射准确性和物理真实性方面优于最先进的基线,同时保持强大的文本到图像语义对齐,为具体的 AI 数据生成提供可靠的管道。源代码发布于https://duyphuc0701.github.io/PhysMirror。