HandDreamer：使用矫正手形指导生成 3D 手模型的零样本文本

虚拟现实的出现需要生成详细且可定制的 3D 手部模型，以便在虚拟世界中进行交互。然而，当前的 3D 手模型生成方法既昂贵又繁琐，为用户提供的可定制性非常少。虽然零镜头文本到 3D 合成的最新进展已经能够使用 Score 蒸馏 采样 (SDS) 生成多样化且可定制的 3D 模型，但它们不能很好地推广到 3D 手部模型生成，从而导致不自然的手部结构、视图不一致和细节丢失。为了解决这些限制，我们引入了 HandDreamer，这是第一种根据文本提示生成零样本 3D 手部模型的方法。我们的研究结果表明，SDS 中的观点不一致主要是由于文本提示描述的概率景观的模糊性造成的，导致相似的观点收敛到不同的分布模式。由于关节和姿势的巨大变化，这对于手来说尤其严重。为了缓解这一问题，我们建议使用基于 MANO 手部模型的初始化和手部骨骼引导扩散过程，为手部结构提供强大的先验信息，并确保视图和姿势的一致性。此外，我们提出了一种新颖的修正手形引导损失，以确保 3D 手模型的所有视图收敛到视图一致模式，而不会导致几何扭曲。广泛的评估证明了我们的方法相对于最先进的方法的优越性，为 3D 手模型生成开辟了新的道路。