论文
Home3D 1.0:用于室内设计的高保真图像到 3D 资产生成系统
Home3D 1.0: A High-Fidelity Image-to-3D Asset Generation System for Interior Design
摘要
我们推出了 Home3D 1.0,这是一种模块化图像到 3D 生成系统,可从单个参考图像生成高质量的 3D 资产,面向室内设计和电子商务应用。给定家具或装饰品的照片,系统会输出带有基于物理的渲染 (PBR) 材质的网格,并且该网格可以分解为特定于材质的组件。该管道被组织成四个紧密耦合的模块:几何通过潜在的 SDF 建模与几何 VAE 和从粗到细的流匹配 DiT 来重建无懈可击的网格;纹理预测多视图反照率观测结果,将它们重新投影到网格上,并使用 3D 纹理场完成看不见的表面区域; Material 使用 MatWeaver 通过基于视频的分割和 UV 空间投票来获取组件蒙版,然后通过分层多模态匹配从精选材质库中检索并烘焙 PBR 贴图; Parts 使用 PartVAE 和 PartDiT 生成材质可编辑的语义零件网格,一次性解码多头零件特定的 SDF 字段。每个模块都使用专用指标进行独立评估,突出显示当前系统功能以及更广泛部署方面的剩余差距。