Coarse3D以首视图锚定和空间注意力控制图像到3D粗结构

从粗到细的 3D 原生生成在很大程度上依赖于第一阶段的稀疏结构，它决定了后续细化的全局方向和整体几何形状。然而，现有的粗生成器面临两个关键限制：由于语义规范化不明确，它们的方向难以控制；由于 2D与3D对应关系约束较弱，它们的结构通常与输入图像不一致。我们提出了 Coarse3D，这是一种稀疏结构生成模型，可以从任意未提供位姿的图像生成方向可控且结构忠实的体素几何形状。 Coarse3D 引入了三种设计：第一帧锚定规范空间，将生成与第一个输入视图对齐，同时保留以对象为中心的标准化；双塔 DiT，将生成与辅助前馈重建结合起来，以学习具有空间对应依据的特征；以及空间先验引导注意力，通过像素到体素对应来约束交叉注意力。 Coarse3D可以直接替代现有管道的粗粒度阶段。实验表明，它显着提高了稀疏结构质量，并持续增强最终 3D 生成，实现了最先进的性能。