LightHarmony3D：协调 3D 高斯泼溅中对象插入的照明和阴影

3D 高斯溅射 (3DGS) 可实现场景几何和外观的高保真重建。在此功能的基础上，将外部网格对象插入到重建的 3DGS 场景中，可以为 AR/VR、虚拟舞台和数字内容创建等沉浸式应用程序实现交互式编辑和内容增强。然而，为网格插入实现物理上一致的光照和阴影仍然具有挑战性，因为它需要准确的场景照明估计和多视图一致的渲染。为了应对这一挑战，我们提出了 LightHarmony3D，这是一种在 3DGS 场景中实现照明一致网格插入的新颖框架。我们方法的核心是我们提出的生成模块，该模块通过单次前向传播预测插入位置处的完整 360° HDR 环境图。通过利用生成先验而不是迭代优化，我们的方法有效地捕获主要场景照明，并为插入的网格启用符合物理约束的着色和阴影，同时保持多视图一致性。此外，我们还引入了第一个用于 3DGS 中网格插入的专用基准，为评估照明一致性和真实感提供了标准化的评估框架。跨多个真实世界重建数据集的大量实验表明，LightHarmony3D 实现了最先进的真实感和多视图一致性。