论文

PhysReflect:几何和感知引导扩散,实现物理上合理的镜面反射

PhysReflect: Geometry and Perception Guided Diffusion for Physically-Plausible Mirror Reflections

模型训练监督微调与指令调优

摘要

扩散模型生成高质量图像,但通常违反镜面反射的物理定律。反射经常受到几何像差的影响,包括位置偏移、方向未对准、比例不平衡和结构变形。即使在当代最先进的生成系统中,这些失败仍然很明显。现有方法通过合成数据缩放或辅助深度调节来解决这个问题,但它们仅仅依赖于潜在空间噪声重建损失作为隐式监督,阻碍了反射特定几何和感知约束的直接执行。为了弥补这一差距,我们提出了 PhysReflect,这是一种几何和感知引导的扩散框架,它在每个训练步骤将预测的干净潜伏解码到像素空间,并通过两个互补的可微目标应用退火监督。几何损失通过稀疏对极对应和密集边界投影对齐来强制镜像引起的空间一致性,其中基于 SAM2 的 TwinTrack 机制为边界感知监督提供稳定的镜内定位。感知损失通过结合语义一致性损失(通过 DINOv2 特征保持反射身份和外观)和照明一致性损失(在单目几何先验下规范深度、表面法线和照明相干性)来保留反射外观。合成和现实世界基准的实验表明,PhysReflect 在几何、感知和物理合理性指标以及定性视觉结果方面优于先前的镜面反射方法。