未校准环境中自同步多视图关节角度监测的代理管道

运动监测在脊髓损伤 (SCI) 患者的长期康复中发挥着至关重要的作用，其中多视图无标记运动捕捉方法显示出巨大的潜力。然而，由于对校准的依赖以及实现多视图同步的困难，它们在患者自行部署环境中的部署仍然具有挑战性。在这项工作中，我们提出了一种代理管道，用于在未校准的环境中使用两个无需硬件触发器的相机进行自同步多视图关节角度监控。 Multimodal 大语言模型 可实现自动视频同步和代理驱动的自我验证。采用最先进的单目 2D 姿势估计模型来提取候选姿势，然后应用基于代理的选择机制来自动识别和跟踪目标对象，从而在存在多个个体和遮挡的情况下产生一致的 2D 姿势。此类 2D 姿势经过优化，可以根据未校准的多视图姿势序列估计关节角度，从而通过显式几何建模确保可解释性。针对 Vicon 系统的验证证明了其强大的性能，实现了 $5.97^\circ \pm 2.36^\circ$ 的 MAE 和 $0.962 \pm 0.014$ 的 Pearson 相关系数。所提出的方法有望提供一种实用的、患者可自行部署的系统，以在未校准的家庭环境中执行日常运动监测。