论文
用于多投影映射的物理引导图像生成
Physically-guided Image Generation for Multi-Projection Mapping
摘要
投影映射 (PM) 可以将数字内容无缝叠加到现实世界的 3D 对象上,成为沉浸式可视化、数字孪生和互动艺术的基本技术。尽管文本到图像的扩散模型极大地促进了定制内容的创建,但由于理想化的 2D 生成和物理约束之间的不匹配,将它们直接集成到实际的 PM 管道中仍然具有挑战性。为了弥补这一差距,本文形式化了两种应用级生成范式:合作范式(协调生成的语义与物理属性)和对抗范式(通过辐射补偿消除表面干扰)。基于此,我们提出了ConPhyG,一个统一可控的物理引导生成多投影映射框架,使创作者能够交互式调整物理约束并灵活切换生成范式。在协作模式下,多维物理先验(每像素色域、深度和边缘)被注入到扩散过程中。在对抗模式下,该框架释放生成潜力,并对多投影仪辐射补偿应用有界数值优化。它允许用户动态切换约束,以平衡艺术自由与物理可行性。此外,我们使用顺序生成策略将 ConPhyG 扩展到 360 度多视图一致 PM。对现实世界的四投影仪设置的定量和定性评估表明,ConPhyG 在几何对齐、色域利用率和语义保真度方面显着优于最先进的方法。