论文

Astrolabe:跨扩散管道的球面图引导,用于从无约束图像中捕获全身

Astrolabe: Spherical-Map Guidance Across Diffusion Pipelines for Full-Body Capture from Unconstrained Images

模型推理解码与生成控制

摘要

从不受约束的照片中捕捉全身需要在任意视图、姿势、裁剪和遮挡之间进行全局对应。然而,在此设置中估计的姿态、几何和基础特征对于密集匹配或外观传输来说太不可靠,而扩散整流器和优化管道没有公开任何通用接口来消耗这种不确定的对应关系。我们的见解是,对应关系不需要局部准确:其粗略的视点和身体布局仍然可以组织扩散先验如何适应和指导重建。我们引入了 \emph{Astrolabe},这是一个基于冻结视点引导的球形地图(SPH)构建的主机便携式适配器。固定有界变换将 SPH 转换为空间噪声偏移,该偏移在先前的适应期间进行匹配,并在下游去噪或两个管道类别中的分数 蒸馏 指导期间重用。当整流器暴露参考路由器时,相同的目标/参考SPH另外提供粗略的兼容性分数以选择本机外观特征;无路由器优化仅使用共享移位路径。因此,Astrolabe 遵循一种 SPH——转变——适应——引导过程,没有密集的扭曲或学习的控制分支。在 Puzzle-IOI 和 4D-Dress 中,它改进了主机中所有报告的图像指标以及所有配对的 Puzzle-IOI 几何指标;图像增益延伸到后视图,而 4D-Dress 几何形状总体保持稳定。