ORMA：基于优化的关节动物单目 4D 重建

由于四足动物形态的多样性和缺乏动物 4D 监督数据，从单眼视频中恢复动物的 4D 关节表示仍然具有挑战性。现有的基于学习的重建方法对单个图像进行操作，并依赖于合成或模型拟合的 3D 监督，这继承了强参数先验的约束，并限制了对分布外物种的泛化。当应用于分布外的动物时，它们通常会恢复合理的姿势，同时产生不准确的几何形状，因为底层形状模型无法忠实地表示观察到的实例。我们提出了 ORMA，一种免训练的重建框架，它将关节与形状分离，使用预测的姿势作为优化参考，同时利用生成 3D 先验进行精确的形状重建。给定参考图像，我们重建动物几何形状并将其注册到参数模型 SMAL+，产生适应观察到的实例的铰接形状。然后，我们将每帧的关节姿势估计与全局一致的相机姿势相结合，以在共享的世界坐标系中恢复动物运动，并使用自监督的 DINO 对应和时间一致性进一步完善重建。为了实现定量评估，我们引入了 PAW4D，这是一种具有地面实况 3D 几何和相机运动的综合多物种基准。 PAW4D、PFERD 和具有挑战性的野外视频实验表明，ORMA 提高了重建精度，同时恢复了不同四足动物物种的全局一致的动物运动。