论文
MOC-3D:文本到 3D 生成的流形顺序一致性
MOC-3D: Manifold-Order Consistency for Text-to-3D Generation
摘要
随着元宇宙、虚拟现实(VR)、数字孪生等领域的蓬勃发展,文本转3D生成已成为学术界和工业界的研究热点。目前,基于利用二维扩散先验的分数蒸馏采样(SDS)的优化方法已成为该领域的主流技术范式。然而,由于2D先验的视图偏差和模式搜索模糊性以及高无分类器引导(CFG)引起的梯度噪声,这些方法仍然存在宏观拓扑不一致(例如Janus问题)和微观几何不连续性。为了解决这些挑战,我们提出了 MOC-3D,一种基于几何流形和语义视图顺序一致性的文本到 3D 生成方法。我们的方法基于 ScaleDreamer 框架构建,结合了语义视图顺序约束模块和基于流形的特征连续性模块。前者旨在纠正宏观拓扑不一致性,而后者则侧重于消除微观几何不连续性。具体来说,语义视图顺序约束模块利用 CLIP 的先验知识对不同视图的语义分数表示施加单调性等级约束,从而为 3D 对象的全局拓扑结构提供有效的指导。同时,基于流形的特征连续性模块在对称正定(SPD)流形上采用黎曼度量。通过测量黎曼空间中特征统计分布的距离,促进统计意义上微纹理跨多视图的平滑演化和连续性。在这两个模块的宏微观协同优化下,我们的模型可以同时提高宏观结构的一致性和微观细节的连续性。