论文

相机轴上的方差减少:3D 多视图分数 蒸馏

Variance Reduction on the Camera Axis: Multi-View Score Distillation for 3D

模型推理测试时计算扩展

摘要

Score 蒸馏 将预训练的 2D 扩散模型转变为 3D 生成器,但每步梯度是从单个随机选择的视图估计的:它是高方差的并且对全局形状一致性视而不见。先前的工作通过在多视图数据上重新训练扩散先验来解决这个问题;这提高了一致性,但使采样贡献与先前的质量密不可分。相反,我们隔离采样轴。每步梯度是对视图的期望的一个噪声样本;以固定的 UNet 总预算每步聚合 K 个样本可以减少方差,而无需触及先验。我们引入了多视图聚合分数 蒸馏 (MV-SDI),它通过梯度累积聚合每步 K 个视图的梯度,保持峰值内存不变并冻结 2D 先验,并将视图绘制为对立对映对(一种先验独立的几何属性),以实现平衡的角度覆盖。在固定的 10,000 个 UNet 调用预算下,K=2 将 CLIP R 精度从 74.8% 提高到 83.8%,CLIP 得分从 0.297 提高到 0.312,HPSv2 和 ImageReward 获得一致的收益,并且 43 提示基准的分歧率为 0.0%;优化步骤因此减半。 K=4 的步长减少了四倍,R 精度为 86.9%,CLIP 为 0.307,在每个对齐指标上仍然远高于单视图基线。 MV-SDI 与基于梯度的评分 蒸馏 管道兼容,包括通过反转评分 蒸馏,并且不需要重新训练,也不需要多视图数据。