生物力学 3D 身体：来自 3D 身体基础模型的生物力学姿势的自我监督 蒸馏

最先进的单目体恢复方法可以预测相应运动树上的网格顶点和角度，但其输出缺乏临床和生物力学分析等下游应用所需的生物力学定义的关节角度。我们使用额外的生物力学预测头扩展了现有的基础模型 SAM-3D-Body，该预测头可以从单个 RGB 图像回归生物力学模型的关节角度和尺度。训练该模型提出了挑战，因为配对图像和生物力学拟合的数据集有限。为了克服这个问题，我们使用 Levenberg-Marquardt 求解器的环内优化目标来监督生物力学输出，该求解器针对网格预测中的标记执行逆运动学拟合。这允许从网格头部中提取生物力学头部，甚至从未标记的图像中提取。为了使这项工作与 MuJoCo 中的 GPU 优化的生物力学模型一起使用，整个模型是使用 Equinox 在 JAX 中实现的。我们在公开发布的 SAM-3D-Body 数据集上训练了这个蒸馏输出头。然后，我们验证了该模型的生物力学适合两个公开可用的基于标记的数据集（MoVi 和 BioCV），以及通过多视图无标记运动捕捉捕获的临床队列的运动。所得模型优于从图像直接回归生物力学的现有模型，而仅略低于最先进的单目生物力学方法，该方法对整个轨迹执行成本更高的推理时间优化。